- 博客(7)
- 收藏
- 关注
RSS订阅原创 bert finetune 问答模型预加载
bert 代码中使用了TensorFlow的高级API estimator，但是这样训练出来的模型是不支持预加载到内存当中的，每次进行预测都要加载一遍模型，离线处理的话还可以接受，如果要在线预测的话效率就会大打折扣，这里提出一个解决方案。google 开源的TensorFlow serving是专门针对TensorFlow框架训练出来的模型设计的一个服务，可以非常方便的启动预测服务，并支持grpc和restful。同时有GPU的版本，可以达到毫秒级预测。针对 run_squad这个要比 预加载分类模
2020-12-17 19:56:56
315
原创 bert finetune 分类模型预加载
bert 代码中使用了TensorFlow的高级API estimator，但是这样训练出来的模型是不支持预加载到内存当中的，每次进行预测都要加载一遍模型，离线处理的话还可以接受，如果要在线预测的话效率就会大打折扣，这里提出一个解决方案。google 开源的TensorFlow serving是专门针对TensorFlow框架训练出来的模型设计的一个服务，可以非常方便的启动预测服务，并支持grpc和restful。同时有GPU的版本，可以达到毫秒级预测。针对run_classifier这个比较简单，
2020-12-17 19:37:28
357
转载 【转载】wget下载阿里云oss的文件报错403
在实际工作中，我们为了方便，会将一些脚本储存在云端(阿里云OSS)，这样方便我们使用和下载，但是在实际的使用过程中，我们会遇到一些问题。示例链接：https://djxlsp.oss-cn-shenzhen.aliyuncs.com/shell/tcp-status.sh?OSSAccessKeyId=LTAI8hlsoWKOIPS8&Expires=1561364265&Signature=w2i1aL3sfHcX%2Fj06N52%2BhSvQaJU%3然后我们通过 wget 进行下
2020-09-01 10:25:44
1732
转载 【转载】Jupyter Notebook 自动补全及代码格式化插件
本文链接：https://sngr.org/index.php/archives/2019/12/22/45.html#gallerypip install jupyter_nbextensions_configuratorpip install jupyter_contrib_nbextensionsjupyter nbextensions_configurator enable --userjupyter contrib nbextension install --userpip instal
2020-08-25 16:30:24
2479
原创 python编码问题
python中，不论是pd.read_csv还是open都可以指定encoding, 通常我们可用的是utf-8或者gbk, 这两种编码格式也是较为常见的编码格式，以这两种编码格式读出来的内容是我们可读的。但是有时文件保存是其他的格式，这时如果encoding指定不正确的话就无法成功读取该文件，比如所latin编码格式的文件。当然，可以指定encoding为latin来读取该文件，但是读取后显示出来的内容是不可理解的，示例如下：#ÄãºÃ2020#ÐÂÄêµÚÒ»ÌìÔªÆøÂúÂúµÄÔçÆð³öÃÅÂ
2020-08-25 15:04:09
130
原创 liunx 常用命令
检查linux服务器的文件系统的磁盘空间占用情况df [选项] [文件]必要参数：-a 全部文件系统列表-h 方便阅读方式显示-H 等于“-h”，但是计算式，1K=1000，而不是1K=1024-i 显示inode信息-k 区块为1024字节-l 只显示本地文件系统-m 区块为1048576字节–no-sync 忽略 sync 命令-P 输出格式为POSIX–sync 在取得磁盘信息前，先执行sync命令-T 文件系统类型通常用的最多的是df -h**对当前目录下文件的大小统
2020-08-25 14:59:24
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人