pyltp

最新推荐文章于 2023-10-01 20:27:04 发布

丁叔叔

最新推荐文章于 2023-10-01 20:27:04 发布

阅读量430

点赞数

分类专栏： NLP

本文链接：https://blog.csdn.net/weixin_43758551/article/details/104266953

版权

NLP 专栏收录该内容

49 篇文章 0 订阅

订阅专栏

github网址：https://github.com/HIT-SCIR/pyltp
在线文档：https://pyltp.readthedocs.io/zh_CN/latest/api.html
参考：https://blog.csdn.net/qq_42851418/article/details/83114328

pyltp 是 LTP 的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能。

定义

分词标注集
在这里插入图片描述
词性标注集
LTP 使用的是863词性标注集，其各个词性含义如下表。

在这里插入图片描述命名实体识别标注集
NE识别模块的标注结果采用O-S-B-I-E标注形式，其含义为

在这里插入图片描述 LTP中的NE 模块识别三种NE，分别如下：

在这里插入图片描述
依存句法关系

在这里插入图片描述
语义角色类型

在这里插入图片描述

1分句

使用 pyltp 进行分句示例如下

from pyltp import SentenceSplitter
sents = SentenceSplitter.split('元芳你怎么看？我就趴窗口上看呗！')  # 分句
print('\n'.join(sents))

结果如下

元芳你怎么看？
我就趴窗口上看呗！

2.分词

2.1 基本分词

# -*- coding: utf-8 -*-
import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import Segmentor
segmentor = Segmentor()  # 初始化实例
segmentor.load(cws_model_path)  # 加载模型
words = segmentor.segment('元芳你怎么看')  # 分词
print '\t'.join(words)
segmentor.release()  # 释放模型

元芳  你       怎么      看 ！

2.2 使用自定义词典

只有分词处理的那一句不太一样，参数加上了自定义的词典

lexicon文件如下：
在这里插入图片描述

import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import Segmentor
segmentor = Segmentor()  # 初始化实例
segmentor.load_with_lexicon(cws_model_path, 'lexicon') # 加载模型，第二个参数是您的外部词典文件路径
words = segmentor.segment('亚硝酸盐是一种化学物质')
print('\t'.join(words))
segmentor.release()

[INFO] 2018-08-16 19:18:03 loaded 2 lexicon entries
亚硝酸盐        是      一      种      化学    物质

3.词性标注(分词后进行标注)

使用 pyltp 进行词性标注示例如下

# -*- coding: utf-8 -*-
import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`

from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load(pos_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']  # 分词结果
postags = postagger.postag(words)  # 词性标注

print '\t'.join(postags)
postagger.release()  # 释放模型

结果如下

nh  r       r       v

也可使用外部词典进行词性标注
pyltp 词性标注同样支持用户的外部词典。词性标注外部词典同样为一个文本文件，每行指定一个词，第一列指定单词，第二列之后指定该词的候选词性（可以有多项，每一项占一列），列与列之间用空格区分。示例如下

雷人 v a
】 wp

4.命名实体识别（分词和词性标注后进行）

import os
LTP_DATA_DIR='D:\Data\ltp_data_v3.4.0'  # ltp模型目录的路径
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 命名实体识别模型路径，模型名称为`pos.model`

from pyltp import NamedEntityRecognizer
recognizer = NamedEntityRecognizer() # 初始化实例
recognizer.load(ner_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看'] #分词结果
postags = ['nh', 'r', 'r', 'v']#词性标注结果 
netags = recognizer.recognize(words, postags)  # 命名实体识别

print('\t'.join(netags))
recognizer.release()  # 释放模型

S-Nh    O   O   O

LTP 采用 BIESO 标注体系。B 表示实体开始词，I表示实体中间词，E表示实体结束词，S表示单独成实体，O表示不构成命名实体。

LTP 提供的命名实体类型为:人名（Nh）、地名（Ns）、机构名（Ni）。

B、I、E、S位置标签和实体类型标签之间用一个横线 - 相连；O标签后没有类型标签。

5.依存句法分析（分词和词性标注后进行）

使用 pyltp 进行依存句法分析示例如下

# -*- coding: utf-8 -*-
import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径，模型名称为`parser.model`

from pyltp import Parser
parser = Parser() # 初始化实例
parser.load(par_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
arcs = parser.parse(words, postags)  # 句法分析

print "\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs)
parser.release()  # 释放模型

其中，words 和 postags 分别为分词和词性标注的结果。同样支持Python原生的list类型。

结果如下

4:SBV       4:SBV   4:ADV   0:HED

arc. head 表示依存弧的父结点的索引。 ROOT 节点的索引是 0 ，第一个词开始的索引依次为1，2，3，···
arc. relation 表示依存弧的关系。
arc.head 表示依存弧的父节点词的索引，arc.relation 表示依存弧的关系。

利用其他一个图例更简单明白体现该关系
示例：

###############依存句法分析###############
2:SBV	0:HED	2:VOB	5:ATT	8:ATT	8:ATT	6:RAD	3:VOB

=====依存句法分析=====
SBV(我, 想)	
HED(想, Root)
VOB(听, 想)
ATT(一, 首)
ATT(首, 爱)
ATT(小虎队, 爱)
RAD(的, 小虎队)
VOB(爱, 听)

在这里插入图片描述

6.语义角色标注（分词和词性标注后，还得再加上依存句法分析结果进行）

使用 pyltp 进行语义角色标注示例如下

# -*- coding: utf-8 -*-
import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
srl_model_path = os.path.join(LTP_DATA_DIR, 'srl')  # 语义角色标注模型目录路径，模型目录为`srl`。注意该模型路径是一个目录，而不是一个文件。

from pyltp import SementicRoleLabeller
labeller = SementicRoleLabeller() # 初始化实例
labeller.load(srl_model_path)  # 加载模型

words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
# arcs 使用依存句法分析的结果
roles = labeller.label(words, postags, arcs)  # 语义角色标注

# 打印结果
for role in roles:
    print role.index, "".join(
        ["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments])
labeller.release()  # 释放模型

结果如下

3 A0:(0,0)A0:(1,1)ADV:(2,2)

第一个词开始的索引依次为0、1、2…

返回结果 roles 是关于多个谓词的语义角色分析的结果。由于一句话中可能不含有语义角色，所以结果可能为空。

role.index 代表谓词的索引， role.arguments 代表关于该谓词的若干语义角色。

arg.name 表示语义角色类型，arg.range.start 表示该语义角色起始词位置的索引，arg.range.end 表示该语义角色结束词位置的索引。

例如上面的例子，由于结果输出一行，所以“元芳你怎么看”有一组语义角色。其谓词索引为3，即“看”。这个谓词有三个语义角色，范围分别是(0,0)即“元芳”，(1,1)即“你”，(2,2)即“怎么”，类型分别是A0、A0、ADV。

arg.name 表示语义角色关系，arg.range.start 表示起始词位置，arg.range.end 表示结束位置。

示例：

### “ 我 / 想 / 看 / 恐龙 / 来 / 了 ”
1 A0:(0,0)A1:(2,5)
2 A1:(3,3)

A1:(2,5)	-->看恐龙来了
A1:(3,3)	-->恐龙

在这里插入图片描述
对于儿童项动画片名的提取，用到分词﹑词性标注﹑依存句法分析﹑语义角色标注这几步。在词性标注这一步，将动画片名标注为 n ，对于片名中存在其他词性的部分片名，尤其是词性为v的片名（因为会在语义角色标注这一步被识别为谓词），不容易识别出来，因此需要对片名中的部分词语，标注其外部词性。比如：将动画片名“恐龙来了”标注为 n 词性。
（这一步骤主要针对那些动画片名称中含有其他词性（比如动词）且不易被识别的动画名）

在语义角色标注这一步中输出 A1 ，输出放入结果列表，即为提取出的动画片名。（对于有多个谓词对应的多个 A1 ，一般输出谓词索引较大时对应的那一个 A1 ，因为对于提取动画片名的语料，只用提取一次信息（即动画片名），所以不用担心 A1 中可能出现非动画片名的信息。

【而对于歌手歌曲名的识别，歌手歌曲可能连着作为一个 A1 ，比如“周杰伦的告白气球”，无法分开这两项，比如“我想听周杰伦的告白气球”的结果“周杰伦的告白气球”会作为一个 A1 输出的。】

使用外部分词词典和外部词性标注词典（比如：把“恐龙来了”作为一个词，标注n词性），得到语义角色标注结果为：

###########词性标注##########
我/r	想/v	看/v	恐龙来了/n

##########语义角色标注##########
2 A1:(3,3)
恐龙来了

语义角色关系：
（1）核心的语义角色为A0~A5六种：

在这里插入图片描述
（2）附加语义角色15个：

## 依存句法分析与语义依存分析的区别参考

https://www.cnblogs.com/CheeseZH/p/5768389.html

丁叔叔

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
pyltp

github网址：https://github.com/HIT-SCIR/pyltp在线文档：https://pyltp.readthedocs.io/zh_CN/latest/api.htmlpyltp 是 LTP 的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能。1分句使用 pyltp 进行分句示例如下from pyltp import S...
复制链接

扫一扫