bert
AI精神小伙
这个作者很懒,什么都没留下…
展开
-
bert finetune 问答模型预加载
bert 代码中使用了TensorFlow的高级API estimator,但是这样训练出来的模型是不支持预加载到内存当中的,每次进行预测都要加载一遍模型,离线处理的话还可以接受,如果要在线预测的话效率就会大打折扣,这里提出一个解决方案。google 开源的TensorFlow serving是专门针对TensorFlow框架训练出来的模型设计的一个服务,可以非常方便的启动预测服务,并支持grpc和restful。同时有GPU的版本,可以达到毫秒级预测。针对 run_squad这个要比 预加载分类模原创 2020-12-17 19:56:56 · 316 阅读 · 0 评论 -
bert finetune 分类模型预加载
bert 代码中使用了TensorFlow的高级API estimator,但是这样训练出来的模型是不支持预加载到内存当中的,每次进行预测都要加载一遍模型,离线处理的话还可以接受,如果要在线预测的话效率就会大打折扣,这里提出一个解决方案。google 开源的TensorFlow serving是专门针对TensorFlow框架训练出来的模型设计的一个服务,可以非常方便的启动预测服务,并支持grpc和restful。同时有GPU的版本,可以达到毫秒级预测。针对run_classifier这个比较简单,原创 2020-12-17 19:37:28 · 358 阅读 · 0 评论