Bert中文提取词向量(GPU)

  • 环境

Ubuntu 16.04

Python 3.6

TensorFlow >= 1.10

  • 安装

1.下载预训练BERT中文词向量模型

下载下面列出的模型,然后将zip文件解压到要运行的文件夹中

 

下载链接:https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

2.安装server和client

通过pip安装server和client

pip install bert-serving-server

pip install bert-serving-client

server必须在python >= 3.5上运行,TensorFlow >= 1.10,不支持Python2

client可以在python2和3上运行

  • 启动

1.启动BERT服务

bert-serving-start -model_dir / tmp / english_L-12_H-768_A-12 /(换成你自己的预训练BERT模型地址) -num_worker 1/2/4

启动成功的界面

注意port和port_out的参数

2.获取词向量

启动BERT之后,在服务器重新打开一个窗口,进入要运行的文件夹,启动python

将肖涵博士bert-as-server包里的client的bert_serving放入文件夹

肖涵博士bert-as-server的链接:https://github.com/hanxiao/bert-as-service

输入以下例子测试bert是否启动成功:

from bert_serving.client import BertClient

bc = BertClient(port=5555, port_out=5556) #启动bert时,得到的端口参数

bc.encode(['你好'])

 

 

发布了10 篇原创文章 · 获赞 3 · 访问量 8917
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览