python
AI精神小伙
这个作者很懒,什么都没留下…
展开
-
bert finetune 问答模型预加载
bert 代码中使用了TensorFlow的高级API estimator,但是这样训练出来的模型是不支持预加载到内存当中的,每次进行预测都要加载一遍模型,离线处理的话还可以接受,如果要在线预测的话效率就会大打折扣,这里提出一个解决方案。google 开源的TensorFlow serving是专门针对TensorFlow框架训练出来的模型设计的一个服务,可以非常方便的启动预测服务,并支持grpc和restful。同时有GPU的版本,可以达到毫秒级预测。针对 run_squad这个要比 预加载分类模原创 2020-12-17 19:56:56 · 316 阅读 · 0 评论 -
bert finetune 分类模型预加载
bert 代码中使用了TensorFlow的高级API estimator,但是这样训练出来的模型是不支持预加载到内存当中的,每次进行预测都要加载一遍模型,离线处理的话还可以接受,如果要在线预测的话效率就会大打折扣,这里提出一个解决方案。google 开源的TensorFlow serving是专门针对TensorFlow框架训练出来的模型设计的一个服务,可以非常方便的启动预测服务,并支持grpc和restful。同时有GPU的版本,可以达到毫秒级预测。针对run_classifier这个比较简单,原创 2020-12-17 19:37:28 · 358 阅读 · 0 评论 -
【转载】Jupyter Notebook 自动补全及代码格式化插件
本文链接:https://sngr.org/index.php/archives/2019/12/22/45.html#gallerypip install jupyter_nbextensions_configuratorpip install jupyter_contrib_nbextensionsjupyter nbextensions_configurator enable --userjupyter contrib nbextension install --userpip instal转载 2020-08-25 16:30:24 · 2485 阅读 · 0 评论 -
python编码问题
python中,不论是pd.read_csv还是open都可以指定encoding, 通常我们可用的是utf-8或者gbk, 这两种编码格式也是较为常见的编码格式,以这两种编码格式读出来的内容是我们可读的。但是有时文件保存是其他的格式,这时如果encoding指定不正确的话就无法成功读取该文件,比如所latin编码格式的文件。当然,可以指定encoding为latin来读取该文件,但是读取后显示出来的内容是不可理解的,示例如下:#ÄãºÃ2020#ÐÂÄêµÚÒ»ÌìÔªÆøÂúÂúµÄÔçÆð³öÃÅÂ原创 2020-08-25 15:04:09 · 131 阅读 · 0 评论