PaddleHub教程合集—(1)PaddleHub预训练模型LAC完成词法分析
LAC:Lexical Analysis of Chinese,是一个联合的词法分析模型,能整体性地完成中文分词、词性标注、专名识别任务
一、定义待预测数据
aistudio平台上运行代码
!pip install paddlehub==1.7.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
#定义需要分词的文本
test_text = ["今天是个好日子", "天气预报说今天要下雨", "下一班地铁马上就要到了"]
#!cat test.txt #cat命令用于连接文件并打印到标准输出设备上。cat是concatenate的简写,类似于dos下面的type命令,使用权限为所有使用者。
#想要用LAC对文件分词,只需读入该文件---将文件内容存成list---list中每个元素是待分词句子
with open("test.txt", 'r') as f:
test_text = []
for line in f:
test_text.append(line.strip()) #将文件内容存成list
print(test_text)
二、加载预训练模型+预测
LAC网络框架为BiGRU+CRF
准备工作完成了,开始导包开始LAC工作
import paddlehub as hub
module = hub.Module(name="lac")
results = module.lexical_analysis(texts=test_text)
for result in results:
print(result)
运行结果
{‘word’: [‘今天’, ‘是’, ‘个’, ‘好日子’], ‘tag’: [‘TIME’, ‘v’, ‘q’, ‘n’]}
{‘word’: [‘天气预报’, ‘说’, ‘今天’, ‘要’, ‘下雨’], ‘tag’: [‘n’, ‘v’, ‘TIME’, ‘v’, ‘v’]}
{‘word’: [‘下’, ‘一班’, ‘地铁’, ‘马上’, ‘就要’, ‘到’, ‘了’], ‘tag’: [‘f’, ‘m’, ‘n’, ‘d’, ‘v’, ‘v’, ‘xc’]}
三、总结
LAC:Lexical Analysis of Chinese,联合的词法分析模型
模型使用过程:导包-调库-用方法(文本数据是list)-输出分词结果
import paddlehub as hub
module = hub.Module(name="lac")
results = module.lexical_analysis(texts=......)
print(......)