什么是pyltp:
pyltp 是LTP的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能。
安装 pyltp
测试环境：系统win10 64位， python3.6.5
官方安装是直接使用pip install pyltp命令安装，但是经过多次反复实践，到处是坑，最后放弃了
轮子文件安装：1.下载pyltp-0.2.1-cp36-cp36m-win_amd64.whl文件,百度云，提取码：1gki
2.切换到下载文件的目录,执行 pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl
使用 pyltp
使用前请先下载完整模型，百度云,提取码：7qk2，当前模型版本 - 3.4.0
请注意编码：
pyltp 的所有输入的分析文本和输出的结果的编码均为 UTF-8。
如果您以非 UTF-8 编码的文本输入进行分析，结果可能为空。请注意源代码文件的默认编码。
由于 Windows 终端采用 GBK 编码显示，直接输出 pyltp 的分析结果会在终端显示为乱码。您可以将标准输出重定向到文件，以 UTF8 方式查看文件，就可以解决显示乱码的问题。
分句：
使用 pyltp 进行分句示例如下：
'''
使用pyltp进行分句
'''
from pyltp import SentenceSplitter
sents = SentenceSplitter.split('元芳你怎么看？我就趴在窗口上看呗！元芳你怎么这样子了？我哪样子了？')
# print(sents)
# print('\n'.join(sents))
sents = '|'.join(sents)
print(sents)
运行结果如下：
元芳你怎么看？|我就趴在窗口上看呗！|元芳你怎么这样子了？|我哪样子了？
分词：
使用 pyltp 进行分词示例如下：
"""
使用pyltp进行分词
"""
import os
from pyltp import Segmentor
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目录路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分词模型路径， 模型名称为'cws.model'
segmentor = Segmentor() # 初始化实例
segmentor.load(cws_model_path) # 加载模型
words = segmentor.segment('元芳你怎么看') # 分词
print(type(words))
print(type('|'.join(words)))
print('|'.join(words))
segmentor.release() # 释放模型
运行结果如下：
<class 'pyltp.VectorOfString'>
<class 'str'>
元芳|你|怎么|看
words = segmentor.segment('元芳你怎么看') 的返回值类型是native的VectorOfString类型，可以使用list转换成Python的列表类型
使用分词外部词典：
pyltp 分词支持用户使用自定义词典。分词外部词典本身是一个文本文件（plain text），每行指定一个词，编码同样须为 UTF-8，样例如下所示
苯并芘
亚硝酸盐
示例如下：
'''
使用分词外部词典
'''
import os
from pyltp import Segmentor
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目录路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分词模型路径， 模型名称为'cws.model'
segmentor = Segmentor()
segmentor.load_with_lexicon(cws_model_path, 'plain.txt') # 加载模型，第二个参数是外部词典文件路径
words = segmentor.segment('亚硝酸盐是一种化学物质')
print('|'.join(words))
segmentor.release()
运行结果：
[INFO] 2019-05-10 15:18:05 loaded 2 lexicon entries
亚硝酸盐|是|一|种|化学|物质
词性标注：
使用 pyltp 进行词性标注
'''
使用 pyltp 进行词性标注
'''
import os
from pyltp import Postagger
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目录路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model') # 分词模型路径， 模型名称为'pos.model'
postagger = Postagger() # 初始化实例
postagger.load(pos_model_path) # 加载模型
words = ['元芳', '你', '怎么', '看'] # words是分词模块的返回值，也支持Python原生list,此处使用list
postags = postagger.postag(words) # 词性标注
print('|'.join(postags))
postagger.release() # 释放模型
运行结果：
nh|r|r|v
LTP 使用 863 词性标注集，详细请参考 词性标准集。如下图所示
命名实体识别
使用 pyltp 进行命名实体识别示例如下
'''
命名实体识别
'''
import os
from pyltp import NamedEntityRecognizer
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目录路径
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model') # 分词模型路径， 模型名称为'c.model'
recognizer = NamedEntityRecognizer() # 初始化实例
recognizer.load(ner_model_path) # 加载模型
words = ['元芳', '你', '怎么', '看'] # 分词模块的返回值
postags = ['nh', 'r', 'r', 'v'] # 词性标注的返回值
netags = recognizer.recognize(words, postags) # 命名实体识别
print(netags)
print(list(netags))
recognizer.release() # 释放模型
其中，words 和 postags 分别为分词和词性标注的结果。同样支持Python原生的list类型。
运行结果
<pyltp.VectorOfString object at 0x000002B3A798DBD0>
['S-Nh', 'O', 'O', 'O']
LTP 采用 BIESO 标注体系。B 表示实体开始词，I表示实体中间词，E表示实体结束词，S表示单独成实体，O表示不构成命名实体。
LTP 提供的命名实体类型为:人名（Nh）、地名（Ns）、机构名（Ni）。
B、I、E、S位置标签和实体类型标签之间用一个横线 - 相连；O标签后没有类型标签。
详细标注请参考 命名实体识别标注集。
NE识别模块的标注结果采用O-S-B-I-E标注形式，其含义为
| 标记 | 含义 |
|---|---|
| O | 这个词不是NE |
| S | 这个词单独构成一个NE |
| B | 这个词为一个NE的开始 |
| I | 这个词为一个NE的中间 |
| E | 这个词位一个NE的结尾 |
LTP中的NE 模块识别三种NE，分别如下：
| 标记 | 含义 |
|---|---|
| Nh | 人名 |
| Ni | 机构名 |
| Ns | 地名 |
依存句法分析
使用 pyltp 进行依存句法分析示例如下
"""
依存句法分析
"""
import os
from pyltp import Parser
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目录路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model') # 分词模型路径， 模型名称为'parser.model'
parser = Parser() # 初始化实例
parser.load(par_model_path) # 加载模型
words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
arcs = parser.parse(words, postags) # 句法分析
print('\t'.join('%d: %s' %(arc.head, arc.relation) for arc in arcs))
parser.release() # 释放模型
其中，words 和 postags 分别为分词和词性标注的结果。同样支持Python原生的list类型。
运行结果
4: SBV 4: SBV 4: ADV 0: HED
arc.head 表示依存弧的父节点词的索引。ROOT节点的索引是0，第一个词开始的索引依次为1、2、3…
arc.relation 表示依存弧的关系。
arc.head 表示依存弧的父节点词的索引，arc.relation 表示依存弧的关系。
标注集请参考依存句法关系
| 关系类型 | Tag | Description | Example |
|---|---|---|---|
| 主谓关系 | SBV | subject-verb | 我送她一束花 (我 <– 送) |
| 动宾关系 | VOB | 直接宾语，verb-object | 我送她一束花 (送 –> 花) |
| 间宾关系 | IOB | 间接宾语，indirect-object | 我送她一束花 (送 –> 她) |
| 前置宾语 | FOB | 前置宾语，fronting-object | 他什么书都读 (书 <– 读) |
| 兼语 | DBL | double | 他请我吃饭 (请 –> 我) |
| 定中关系 | ATT | attribute | 红苹果 (红 <– 苹果) |
| 状中结构 | ADV | adverbial | 非常美丽 (非常 <– 美丽) |
| 动补结构 | CMP | complement | 做完了作业 (做 –> 完) |
| 并列关系 | COO | coordinate | 大山和大海 (大山 –> 大海) |
| 介宾关系 | POB | preposition-object | 在贸易区内 (在 –> 内) |
| 左附加关系 | LAD | left adjunct | 大山和大海 (和 <– 大海) |
| 右附加关系 | RAD | right adjunct | 孩子们 (孩子 –> 们) |
| 独立结构 | IS | independent structure | 两个单句在结构上彼此独立 |
| 核心关系 | HED | head | 指整个句子的核心 |
语义角色标注
使用 pyltp 进行语义角色标注示例如下
'''
语义角色标注
'''
import os
from pyltp import SementicRoleLabeller
from demo6 import parser
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目录路径
srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl_win.model') # 分词模型路径， 模型名称为'pisrl_win.model'
labeller = SementicRoleLabeller() # 初始化实例
labeller.load(srl_model_path) # 加载模型
words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
arcs = parser()
print(arcs)
特别注意，windows系统此处用的模型是pirl_win.model
运行结果
[dynet] random seed: 2222491344
[dynet] allocating memory: 2000MB
[dynet] memory allocation done.
4: SBV 4: SBV 4: ADV 0: HED
<pyltp.VectorOfParseResult object at 0x0000026B5902DC30>
3 A0:(1,1)ADV:(2,2)
第一个词开始的索引依次为0、1、2…
返回结果 roles 是关于多个谓词的语义角色分析的结果。由于一句话中可能不含有语义角色，所以结果可能为空。
role.index 代表谓词的索引， role.arguments 代表关于该谓词的若干语义角色。
arg.name 表示语义角色类型，arg.range.start 表示该语义角色起始词位置的索引，arg.range.end 表示该语义角色结束词位置的索引。
例如上面的例子，由于结果输出一行，所以“元芳你怎么看”有一组语义角色。 其谓词索引为3，即“看”。这个谓词有三个语义角色，范围分别是(0,0)即“元芳”，(1,1)即“你”，(2,2)即“怎么”，类型分别是A0、A0、ADV。
arg.name 表示语义角色关系，arg.range.start 表示起始词位置，arg.range.end 表示结束位置。
标注集请参考 语义角色关系。
| 语义角色类型 | 说明 |
|---|---|
| ADV | adverbial, default tag ( 附加的，默认标记 ) |
| BNE | beneficiary ( 受益人 ) |
| CND | condition ( 条件 ) |
| DIR | direction ( 方向 ) |
| DGR | degree ( 程度 ) |
| EXT | extent ( 扩展 ) |
| FRQ | frequency ( 频率 ) |
| LOC | locative ( 地点 ) |
| MNR | manner ( 方式 ) |
| PRP | purpose or reason ( 目的或原因 ) |
| TMP | temporal ( 时间 ) |
| TPC | topic ( 主题 ) |
| CRD | coordinated arguments ( 并列参数 ) |
| PRD | predicate ( 谓语动词 ) |
| PSR | possessor ( 持有者 ) |
| PSE | possessee ( 被持有 ) |
完整示例
import os,sys
from pyltp import SentenceSplitter,Segmentor,Postagger,Parser,NamedEntityRecognizer,SementicRoleLabeller
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目录路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分词模型路径， 模型名称为'cws.model'
paragraph = '中国进出口银行与中国银行加强合作。中国进出口银行与中国银行加强合作！'
sentence = SentenceSplitter.split(paragraph)[0] # 分句并取第一句
# 分词
segmentor = Segmentor() # 初始化
segmentor.load(os.path.join(LTP_DATA_DIR, 'cws.model')) # 加载模型
words = segmentor.segment(sentence) # 分词
print(list(words))
print('|'.join(words))
# 词性标注
postagger = Postagger() # 初始化
postagger.load(os.path.join(LTP_DATA_DIR, 'pos.model')) # 加载模型
postags = postagger.postag(words)
#postags = postagger.postag(['中国', '进出口', '银行', '与', '中国银行', '加强', '合作', '。'])
print(list(postags))
# 依存句法分析
parser = Parser()
parser.load(os.path.join(LTP_DATA_DIR, 'parser.model'))
arcs = parser.parse(words, postags)
print('\t'.join('%d:%s' %(arc.head, arc.relation) for arc in arcs))
# 命名实体识别
recognizer = NamedEntityRecognizer() # 实例化
recognizer.load(os.path.join(LTP_DATA_DIR, 'ner.model'))
netags = recognizer.recognize(words, postags)
print(list(netags))
# 语义角色标注
labeller = SementicRoleLabeller()
labeller.load(os.path.join(LTP_DATA_DIR, 'pisrl_win.model'))
roles = labeller.label(words, postags, arcs)
for role in roles:
print(role.index, "".join(
["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))
segmentor.release() # 释放
postagger.release()
parser.release()
recognizer.release()
labeller.release()
扫一扫
2979
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
