bert as service

肖涵博士的bert-as-service
(https://github.com/hanxiao/bert-as-service)

1.使用BERT模型作为句子编码服务,即将可变长度句子映射到固定长度向量。例如hello world到[0.1, 0.3, 0.9]。向量的每个元素都应“编码”原始句子的某些语义。
2.bert-as-service使用BERT作为句子编码器,并通过ZeroMQ将其托管为服务,从而使您可以仅用两行代码将句子映射为定长表示形式。

安装服务器和客户端

pip install bert-serving-server   #服务器 
pip install bert-serving-client   #客户端,独立于`bert-serving-server`

注意,服务器必须在运行的Python> = 3.5与Tensorflow> = 1.10(单点-10)。同样,服务器不支持Python 2!

入门
1.下载预训练的BERT模型
下载下面列出的模型,然后将zip文件解压缩到某个文件夹。
2.启动BERT服务

bert-serving-start -cpu  -model_dir D:\process\bert\chinese_L-12_H-768_A-12\ -max_seq_len 20 -num_worker 2 

正确的启用外观
在这里插入图片描述
3.使用客户端获取句子编码

from bert_serving.client import BertClient
bc = BertClient()
bc.encode(['我 喜欢 你们','我 喜 欢 你 们','我 喜欢 你'])

远程使用BERT服务
也可以在一台(GPU)机器上启动该服务,然后从另一台(CPU)机器调用该服务,如下所示:

# on another CPU machine
from bert_serving.client import BertClient
bc = BertClient(ip='xx.xx.xx.xx')  # ip address of the GPU machine
bc.encode(['First do it', 'then do it right', 'then do it better'])

在这种情况下仅需要安装

pip install -U bert-serving-client

服务器端不必安装

运行图片
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值