BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上,即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
相信很多小伙伴在安装Bert时遇到很多问题,不知道怎么安装,小编也是整了一天才总结出最新安装方案。
一、环境依赖:
安装Python、tensorflow
(很多小伙伴使用是anaconda的spyder)
python 3.6.8
tensorflow 1.13.1
bert-serving-server 1.9.1
bert-serving-cline 1.9.1
二、安装package
打开anaconda的anaconda Prompt
输入以下其中一个,进行安装
pip install bert-serving-server
pip install bert-serving-client
三、安装Tensorflow
由于安装Tensorflow需要的包比较多,可以采用一个一个安装的方法
absl_py,astor,gast,gropcio,Markdown,msgpack,protobuf,tensorboard,tensorflow,termcolor
下载地址:
https://pypi.org/
我们这里采用直接安装的方法,下载地址:
https://pypi.org/project/tensorflow/#files
下载好了之后,放在一个文件夹下,小编这里放在D盘目录下,然后打开anaconda Prompt,输入以下命令:
pip install D:\tensorflow-2.1.0-cp37-cp37m-win_amd64.whl
D:\tensorflow-2.1.0-cp37-cp37m-win_amd64.whl是文件的路径,大家不要搞错了。安装时间比较长,大家耐心等待!!
这就安装成功啦!!!!
四、下载中文bert预训练的模型
下载地址:
https://github.com/google-research/bert#pre-trained-models
下载完成后解压,解压成功后:
启动anaconda Prompt,输入以下命令:
bert-serving-start -model_dir D:\chinese_L-12_H-768_A-12 -num_worker=1
这里D:\chinese_L-12_H-768_A-12 -num_worker=1依旧是地址,小编是放在D盘目录下面。
参数-model_dir用来指定上步解压的模型路径,参数num_worker=2表示启动了两个worker,可以同时处理2个请求,因此如果用一台配置较高的机器单独做为bert的server,可以通过设定该参数提供高并发支持。
安装完成后,我们来试运行一下:
from bert_serving.client import BertClient
试运行成功,没有报错,以上是bert的安装教程,运行成功的小伙伴麻烦点个赞,谢谢大家!!!!
下面给大家一个小福利,对于使用LSTM模型,还需要安装keras才能运行。下面是方法。
安装keras的方法
共有三个相关的文件需要安装
1、Keras_Applications
2、Keras_Preprocessing
3、Keras
安装地址:
https://pypi.org/
先安装Keras_Applications和Keras_Preprocessing,最后安装新版的Keras.这样就不会报错了。
试运行以下以下代码:
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.layers import Dense, Embedding, LSTM, SpatialDropout1D
from sklearn.model_selection import train_test_split
from keras.utils.np_utils import to_categorical
from keras.callbacks import EarlyStopping
from keras.layers import Dropout
运行结果:
ok!没有问题,已经安装成功!!!
下面就可以采用LSTM模型和Bert模型进行中文分类训练了,喜欢的小伙伴麻烦点个赞!!!谢谢大家。