最新Bert安装教程

BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上,即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

相信很多小伙伴在安装Bert时遇到很多问题,不知道怎么安装,小编也是整了一天才总结出最新安装方案。

一、环境依赖:

安装Python、tensorflow
(很多小伙伴使用是anaconda的spyder)

python 3.6.8
tensorflow 1.13.1
bert-serving-server 1.9.1
bert-serving-cline 1.9.1

二、安装package

打开anaconda的anaconda Prompt
输入以下其中一个,进行安装

pip install bert-serving-server

pip install bert-serving-client

三、安装Tensorflow

由于安装Tensorflow需要的包比较多,可以采用一个一个安装的方法

absl_py,astor,gast,gropcio,Markdown,msgpack,protobuf,tensorboard,tensorflow,termcolor

下载地址:

https://pypi.org/

我们这里采用直接安装的方法,下载地址:

https://pypi.org/project/tensorflow/#files

在这里插入图片描述
下载好了之后,放在一个文件夹下,小编这里放在D盘目录下,然后打开anaconda Prompt,输入以下命令:

pip install D:\tensorflow-2.1.0-cp37-cp37m-win_amd64.whl

D:\tensorflow-2.1.0-cp37-cp37m-win_amd64.whl是文件的路径,大家不要搞错了。安装时间比较长,大家耐心等待!!
在这里插入图片描述
这就安装成功啦!!!!

四、下载中文bert预训练的模型

下载地址:

https://github.com/google-research/bert#pre-trained-models

在这里插入图片描述
下载完成后解压,解压成功后:
在这里插入图片描述
启动anaconda Prompt,输入以下命令:

bert-serving-start -model_dir D:\chinese_L-12_H-768_A-12 -num_worker=1

这里D:\chinese_L-12_H-768_A-12 -num_worker=1依旧是地址,小编是放在D盘目录下面。
参数-model_dir用来指定上步解压的模型路径,参数num_worker=2表示启动了两个worker,可以同时处理2个请求,因此如果用一台配置较高的机器单独做为bert的server,可以通过设定该参数提供高并发支持。
在这里插入图片描述
安装完成后,我们来试运行一下:

from bert_serving.client import BertClient

在这里插入图片描述
试运行成功,没有报错,以上是bert的安装教程,运行成功的小伙伴麻烦点个赞,谢谢大家!!!!

下面给大家一个小福利,对于使用LSTM模型,还需要安装keras才能运行。下面是方法。

安装keras的方法

共有三个相关的文件需要安装
1、Keras_Applications
2、Keras_Preprocessing
3、Keras
安装地址:

https://pypi.org/

先安装Keras_Applications和Keras_Preprocessing,最后安装新版的Keras.这样就不会报错了。

试运行以下以下代码:

from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.layers import Dense, Embedding, LSTM, SpatialDropout1D
from sklearn.model_selection import train_test_split
from keras.utils.np_utils import to_categorical
from keras.callbacks import EarlyStopping
from keras.layers import Dropout

运行结果:
在这里插入图片描述

ok!没有问题,已经安装成功!!!

下面就可以采用LSTM模型和Bert模型进行中文分类训练了,喜欢的小伙伴麻烦点个赞!!!谢谢大家。

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

积跬步至万里

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值