词法分析使用ERNIE模型
ERNIE模型是百度上线的,目前中文的预测效果最好
使用流程
1、安装
安装paddlepaddle1.3.2
注意安装的paddle版本
将工具分词工具git clone到本地
git clone https://github.com/PaddlePaddle/models.git
cd models/PaddleNLP/lexical_analysis
进入到词法分析的文件夹中
2、数据集准备
执行以下命令下载解压数据集
wget --no-check-certificate https://baidu-nlp.bj.bcebos.com/lexical_analysis-dataset-1.0.0.tar.gz
tar xvf lexical_analysis-dataset-1.0.0.tar.gz
3、准备词法分析模型
使用ERNIE模型(这里指的是使用ERNIE的词法分析模型)
方法一 使用paddleHub
hub download lexical_analysis_finetuned
tar xvf lexical_analysis_finetuned-1.0.0.tar.gz
方法二 直接下载
wget --no-check-certificate https://baidu-nlp.bj.bcebos.com/lexical_analysis_finetuned-1.0.0.tar.gz
tar xvf lexical_analysis_finetuned-1.0.0.tar.gz
注意要下载ERNIE开放模型
执行
mkdir pretrained
将模型下载至pretrained的文件夹中