PaddleHub教程合集---（1）PaddleHub预训练模型LAC完成词法分析

PaddleHub教程合集—（1）PaddleHub预训练模型LAC完成词法分析

LAC：Lexical Analysis of Chinese，是一个联合的词法分析模型，能整体性地完成中文分词、词性标注、专名识别任务

一、定义待预测数据

aistudio平台上运行代码

!pip install paddlehub==1.7.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

#定义需要分词的文本
test_text = ["今天是个好日子", "天气预报说今天要下雨", "下一班地铁马上就要到了"]
#!cat test.txt #cat命令用于连接文件并打印到标准输出设备上。cat是concatenate的简写，类似于dos下面的type命令，使用权限为所有使用者。
#想要用LAC对文件分词，只需读入该文件---将文件内容存成list---list中每个元素是待分词句子
with open("test.txt", 'r') as f:
    test_text = []
    for line in f:
        test_text.append(line.strip())  #将文件内容存成list
print(test_text) 

二、加载预训练模型+预测

LAC网络框架为BiGRU+CRF

准备工作完成了，开始导包开始LAC工作

import paddlehub as hub
module = hub.Module(name="lac")

results = module.lexical_analysis(texts=test_text)
for result in results:
    print(result)

运行结果

{‘word’: [‘今天’, ‘是’, ‘个’, ‘好日子’], ‘tag’: [‘TIME’, ‘v’, ‘q’, ‘n’]}
{‘word’: [‘天气预报’, ‘说’, ‘今天’, ‘要’, ‘下雨’], ‘tag’: [‘n’, ‘v’, ‘TIME’, ‘v’, ‘v’]}
{‘word’: [‘下’, ‘一班’, ‘地铁’, ‘马上’, ‘就要’, ‘到’, ‘了’], ‘tag’: [‘f’, ‘m’, ‘n’, ‘d’, ‘v’, ‘v’, ‘xc’]}

三、总结

LAC：Lexical Analysis of Chinese，联合的词法分析模型
模型使用过程：导包-调库-用方法（文本数据是list）-输出分词结果

import paddlehub as hub
module = hub.Module(name="lac")
results = module.lexical_analysis(texts=......)
print(......)