python系列：关于nlp-pyltp的基本介绍和使用

已于 2024-02-03 16:09:20 修改
阅读量1.1k 收藏 37
点赞数 19
分类专栏： # python 文章标签： python 自然语言处理 开发语言
于 2024-01-16 20:00:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54626591/article/details/135633053
版权

关于nlp-pyltp的基本介绍和使用



一，下载 ltp 模型 ltp_data_v3.4.0、pyltp

1，ltp模型下载地址如下：

https://ltp.ai/download.html

  1. 官方的下载模型文件，ltp_data并解压到任意位置（注意点：模型的路径最好不要有中文，不然模型加载不出），
  2. 解压后得到一个大于1G的文件夹，确保此文件夹名称为ltp_data，位置任意，但在Python程序中一定要指明这个路径。
  3. LTP提供的模型包括：（在ltp_data文件夹里面）
    cws.model 　　　　　 分句模型，单文件
    pos.model 　　　　　 词性标注模型，单文件
    ner.model 　　　　　 命名实体识别模型，单文件
    parser.model 　　　　　 依存句法分析模型，单文件
    srl_data/ 　　　 　　　　　 语义角色标注模型，多文件（文件夹srl）（注意：按照官网提示注：3.4.0 版本 SRL模型 pisrl.model 如在windows系统下不可用，可以到官网“此链接” 下载支持windows的语义角色标注模型。）
    2017/06/15 16:42 182,672,934 cws.model
    2017/07/07 15:47 260 md5.txt
    2017/06/15 15:19 22,091,814 ner.model
    2017/06/15 16:26 367,819,616 parser.model
    2017/06/15 16:00 196,372,381 pisrl.model
    2017/06/15 16:43 433,443,857 pos.model
    2017/07/07 15:47 6 version
    　　　　　　7 个文件 1,202,400,868 字节
    　　　　　　2 个目录 108,015,374,336 可用字节

参考资料：

官方使用文档：https://github.com/HIT-SCIR/ltp

Python文档说明地址：https://github.com/HIT-SCIR/pyltp

2，下载pyltp如下：

安装方法

安装方法一：使用pip命令安装
pip install pyltp

注：此种方法大概率会失败，会出现较多问题，如VC++编译环境缺少。

安装方法二：使用whl轮子安装
轮子下载地址：

链接：https://pan.baidu.com/s/1Jbw6IjVbb-URZCHvh3FNDQ
提取码：i3le

pyltp-0.2.1-cp35-cp35m-win_amd64.whl（python3.5，64位）
pyltp-0.2.1-cp36-cp36m-win_amd64.whl（python3.6，64位）（根据我的编译环境，下载这个）

官方下载地址：

https://pypi.org/project/pyltp/0.4.0/#files

下载好后，在安装包目录下，打开系统命令框，输入：

pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl

即可安装成功。

3、问题汇总

2020.4.27 旧版

pyltp安装过程中问题汇总：

问题一：python版本不是3.6，为3.7或者更高的版本，安装轮子失败

原因：目前pyltp库最高支持python3.6版本，更高版本的python安装会出错。

在这里插入图片描述
解决方法：
1、将你的python版本降级，降到3.6版本，降级方法，百度。

2、更改轮子名称，如pyltp-0.2.1-cp36-cp36m-win_amd64.whl（python3.6，64位），更改为pyltp-0.2.1-cp37-cp37m-win_amd64.whl（python3.7），亲测有效。

问题二：使用方法一安装出现VC++错误，

原因：你的电脑确实VC++编译环境，需要安装特定的VC++支持数据包。

解决方法：安装支持环境，下载下面的exe文件，安装VC++编译环境。

链接：https://pan.baidu.com/s/1za9j5p4YxxFle6-MT3NKMQ
提取码：y70v

4、pyltp简单使用

代码如下

# -*- coding: utf-8 -*-
import os
LTP_DATA_DIR = r'E:\tool\python\Lib\site-packages\pyltp-0.2.1.dist-info\ltp_data'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import Segmentor
segmentor = Segmentor()  # 初始化实例
segmentor.load(cws_model_path)  # 加载模型
words = segmentor.segment('大明王很喜欢一个人')  # 分词
print ('\t'.join(words))
segmentor.release()  # 释放模型

E:\tool\python\python.exe "E:/学习笔记/NLP学习/NLP code/情感分析2/test1.py"
大明王    很    喜欢    一个    人

Process finished with exit code

可能会出以下问题：

pyltp.Segmentor(model_path: str, lexicon_path: str = None, force_lexicon_path: str = None)
解决1：

这是因为pyltp版本的写法不同，这种segmentor = Segmentor() 写法可以安装pyltp==0.2.1

解决2

pyltp==0.4.0的写法：不用segmentor = Segmentor()来进行初始化之后segmentor.load，而是直接加载模型，如以下代码：

from pyltp import Segmentor
LTP_DATA_DIR =  './ltp_data_v3.4.0' # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型
segmentor = Segmentor(cws_model_path)
words = segmentor.segment("元芳你怎么看")
print("|".join(words))
segmentor.release()
建议：

如果觉得自己可以掌控未来发生的所有问题，建议你下载最新版本，如果你懵懵懂懂，遇到问题惊慌失措，那么建议你下载旧版，因为网上旧的文章特别多

二，ltp

1，什么是ltp

语言技术平台（Language Technology Platform，LTP）提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。从应用角度来看，LTP 为用户提供了下列组件：

  • 针对单一自然语言处理任务，生成统计机器学习模型的工具

  • 针对单一自然语言处理任务，调用模型进行分析的编程接口

  • 系统可调用的，用于中文语言处理的模型文件

  • 针对单一自然语言处理任务，基于云端的编程接口

LTP 是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP 制定了基于 XML 的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块 （包括词法、句法、语义等6项中文处理核心技术），以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口，可视化工具，并且能够以网络服务（Web Service）的形式进行使用。

LTP 系统框架图如下所示：

在这里插入图片描述

2，注意事项

1）注意版本对应
请确保下载的模型版本与当前版本的 pyltp 对应，否则会导致程序无法正确加载模型。

2）注意编码
pyltp 的所有输入的分析文本和输出的结果的编码均为 UTF-8。
如果您以非 UTF-8 编码的文本输入进行分析，结果可能为空。请注意源代码文件的默认编码。
由于 Windows 终端采用 GBK 编码显示，直接输出 pyltp 的分析结果会在终端显示为乱码。您可以将标准输出重定向到文件，以 UTF8 方式查看文件，就可以解决显示乱码的问题

三，分句子

# 分句子
from pyltp import SentenceSplitter
sents = SentenceSplitter.split('元芳你怎么看？我就趴窗口上看呗！')  # 分句
print ('\n'.join(sents))

# -------output--------
元芳你怎么看？
我就趴窗口上看呗！

四，分词

import os
from pyltp import Segmentor

LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

segmentor = Segmentor()  # 初始化实例
segmentor.load(cws_model_path)  # 加载模型
word1 = segmentor.segment('中信建投证券投资有限公司')  # 分词
word2 = segmentor.segment('中信今天投资了一款游戏')  # 分词
print(type(word1))
print ('\t'.join(word1))
print ('\t'.join(word2))
segmentor.release()  # 释放模型

# -------output--------
<class 'pyltp.VectorOfString'>
中信	建投	证券	投资	有限公司
中信	今天	投资	了	一	款	游戏

五，分词-外部词典 （只能处理小于5个字的词典）

1，自定义词典

pyltp 分词支持用户使用自定义词典。分词外部词典本身是一个文本文件（plain text），每行指定一个词，编码同样须为 UTF-8，样例如下所示：

# ./substantive_word.txt
中信建投
资有限公司
一款游戏
一款

2，分词-外部词典

import os
from pyltp import Segmentor

LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

segmentor = Segmentor()  # 初始化实例
segmentor.load_with_lexicon(cws_model_path, './substantive_word.txt') # 加载模型，第二个参数是您的外部词典文件路径
word1 = segmentor.segment('中信建投证券投资有限公司')  # 分词
word2 = segmentor.segment('中信今天投资了一款游戏')  # 分词
print ('\t'.join(word1))
print ('\t'.join(word2))
segmentor.release() # 释放模型

# -------output--------
中信建投	证券	投资	有限公司
中信	今天	投资	了	一款游戏
[INFO] 2020-09-10 13:48:25 loaded 4 lexicon entries

六，使用个性化分词模型 / 同时也可以使用外部词典

1，什么是个性化分词

个性化分词是 LTP 的特色功能。个性化分词为了解决测试数据切换到如小说、财经等不同于新闻领域的领域。 在切换到新领域时，用户只需要标注少量数据。 个性化分词会在原有新闻数据基础之上进行增量训练。 从而达到即利用新闻领域的丰富数据，又兼顾目标领域特殊性的目的。

2，参考文档

pyltp 支持使用用户训练好的个性化模型。关于个性化模型的训练需使用 LTP，详细介绍和训练方法请参考：
https://ltp.readthedocs.io/zh_CN/v3.3.0/train.html
http://ltp.ai/docs/ltp3.x/theory.html

3，个性化分词

import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import CustomizedSegmentor
customized_segmentor = CustomizedSegmentor()  # 初始化实例
customized_segmentor.load(cws_model_path, '/path/to/your/customized_model') # 加载模型，第二个参数是您的增量模型路径
words = customized_segmentor.segment('亚硝酸盐是一种化学物质')
print '\t'.join(words)
customized_segmentor.release()```

4，个性化分词同时使用外部词典

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import CustomizedSegmentor
customized_segmentor = CustomizedSegmentor()  # 初始化实例
customized_segmentor.load_with_lexicon(cws_model_path, '/path/to/your/customized_model', './substantive_word.txt') # 加载模型
words = customized_segmentor.segment('亚硝酸盐是一种化学物质')
print ('\t'.join(words))
customized_segmentor.release()

七，词性标注

1，词性标注

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`

from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load(pos_model_path)  # 加载模型

word1 = ["中信建投","证券","投资","有限公司"]
word2 = ["中信","	今天","投资","了","一款","游戏"]

postags1 = postagger.postag(word1)  # 词性标注
postags2 = postagger.postag(word2)  # 词性标注

print ('\t'.join(postags1))
print ('\t'.join(postags2))

postagger.release()  # 释放模型

# ------output-------------
j	n	v	n
j	nt	v	u	m	n

2，词性标注集

LTP 使用 863 词性标注集，详细请参考 词性标注集 。

八，词性标注 - 外部词典

1，外部词典

pyltp 词性标注同样支持用户的外部词典。词性标注外部词典同样为一个文本文件，每行指定一个词，第一列指定单词，第二列之后指定该词的候选词性（可以有多项，每一项占一列），列与列之间用空格区分。示例如下：

雷人 v a
】 wp
1
2

2，词性标注

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`

from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load_with_lexicon(pos_model_path,"./properties_word.txt")  # 加载模型

word1 = ["中信建投","证券","投资","有限公司"]
word2 = ["中信","	今天","投资","了","一款","游戏"]

postags1 = postagger.postag(word1)  # 词性标注
postags2 = postagger.postag(word2)  # 词性标注

print ('\t'.join(postags1))
print ('\t'.join(postags2))

postagger.release()  # 释放模型

# ------output-------------
j	n	v	n
j	nt	v	u	m	n

九，命名实体识别

1，命名实体识别

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 命名实体识别模型路径，模型名称为`pos.model`

from pyltp import NamedEntityRecognizer
recognizer = NamedEntityRecognizer() # 初始化实例
recognizer.load(ner_model_path)  # 加载模型

word1 = ["中信建投","证券","投资","有限公司"]
word2 = ["中信","今天","投资","了","一款","游戏"]

postags1  = ["j","n","v","n"]
postags2 = ["j","nt","v","u","m","n"]

netags1 = recognizer.recognize(word1, postags1)  # 命名实体识别
netags2 = recognizer.recognize(word2, postags2)  # 命名实体识别

print('\t'.join(netags1))
print('\t'.join(netags2))
recognizer.release()  # 释放模型

# ------output-------------
B-Ni	I-Ni	I-Ni	E-Ni
O	O	O	O	O	O

2，命名实体识别标注集

LTP 采用 BIESO 标注体系。B 表示实体开始词，I表示实体中间词，E表示实体结束词，S表示单独成实体，O表示不构成命名实体。
LTP 提供的命名实体类型为:人名（Nh）、地名（Ns）、机构名（Ni）。
B、I、E、S位置标签和实体类型标签之间用一个横线 - 相连；O标签后没有类型标签。

详细标注请参考： 命名实体识别标注集

十，依存句法分析

1，依存句法分析

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径，模型名称为`parser.model`

from pyltp import Parser
parser = Parser() # 初始化实例
parser.load(par_model_path)  # 加载模型

words = ['中信建投', '证券', '投资', '有限公司',"今天","投资","了","一款","雷人","游戏"]
postags = ["j","n","v","n","nt","v","u","m","n","n"]
arcs = parser.parse(words, postags)  # 句法分析

print ("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))
parser.release()  # 释放模型

# -----output--------
2:ATT	4:ATT	4:ATT	6:SBV	6:ADV	0:HED	6:RAD	10:ATT	10:ATT	6:VOB

2，依存句法关系附录

arc.head 表示依存弧的父节点词的索引。ROOT节点的索引是0，第一个词开始的索引依次为1、2、3…

arc.relation 表示依存弧的关系。

arc.head 表示依存弧的父节点词的索引，arc.relation 表示依存弧的关系。

标注集请参考： 依存句法关系 。

十一，语义角色标注

1，语义角色标注

# 1）依存句法分析
import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径，模型名称为`parser.model`

from pyltp import Parser
parser = Parser() # 初始化实例
parser.load(par_model_path)  # 加载模型

words = ['中信建投', '证券', '投资', '有限公司',"今天","投资","了","一款","雷人","游戏"]
postags = ["j","n","v","n","nt","v","u","m","n","n"]
arcs = parser.parse(words, postags)  # 句法分析

print ("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))
parser.release()  # 释放模型

# 2）语义角色标注
import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl.model')  # 语义角色标注模型目录路径，模型目录为`srl`。注意该模型路径是一个目录，而不是一个文件。

from pyltp import SementicRoleLabeller
labeller = SementicRoleLabeller() # 初始化实例
labeller.load(srl_model_path)  # 加载模型

words = ['中信建投', '证券', '投资', '有限公司',"今天","投资","了","一款","雷人","游戏"]
postags = ["j","n","v","n","nt","v","u","m","n","n"]
# arcs 使用依存句法分析的结果
roles = labeller.label(words, postags, arcs)  # 语义角色标注

# 打印结果
for role in roles:
    print (role.index, "".join(["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))
labeller.release()  # 释放模型

2，语义角色关系

第一个词开始的索引依次为0、1、2…

返回结果 roles 是关于多个谓词的语义角色分析的结果。由于一句话中可能不含有语义角色，所以结果可能为空。

role.index 代表谓词的索引， role.arguments 代表关于该谓词的若干语义角色。

arg.name 表示语义角色类型，arg.range.start 表示该语义角色起始词位置的索引，arg.range.end 表示该语义角色结束词位置的索引。

例如上面的例子，由于结果输出一行，所以“元芳你怎么看”有一组语义角色。 其谓词索引为3，即“看”。这个谓词有三个语义角色，范围分别是(0,0)即“元芳”，(1,1)即“你”，(2,2)即“怎么”，类型分别是A0、A0、ADV。

arg.name 表示语义角色关系，arg.range.start 表示起始词位置，arg.range.end 表示结束位置。

标注集请参考 语义角色关系 。






大明王

明天的代码世界

sinat_39286298

pyltp安装的一系列过程

风吹过的一夏

pyltp的初始化报错：segmentor = Segmentor() # 初始化实例TypeError: init(): incompatible constructor argument

TFATS

关于nlp-pyltp的基本介绍和使用

本咸鱼也有梦想啦

在python中使用哈工大LTP进行自然语言处理（安装和结果分析）

坦笑&&life
关注
  • 19
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
哈工大pyltp的使用方法
GreatXiang888的博客
12-30 1962
官网：https://github.com/HIT-SCIR/pyltp 安装 见 哈工大pyltp的安装 - 失败记录和多种尝试，只能说不容易。 下载模型 下载链接：http://ltp.ai/download.html 使用方法 这里以分词cws为例。 1，代码ltp_function.py： from pyltp import Segmentor def segmenter(senten...
Python调用哈工大语言云（LTP）API进行自然语言处理
huludan的专栏
07-07 2077
转载：http://blog.csdn.net/churximi/article/details/51173297 哈工大语言云（语言技术平台云）是以哈工大社会计算与信息检索研究中心研发的“语言技术平台（LTP）” 为基础，提供高效精准的中文自然语言处理云服务。      官网：http://www.ltp-cloud.com/     使用python调用API实验
python ltp使用
qfzxhy的博客
07-13 3160
1、安装 pip install pyltp 2、官网下载ltp model（注意版本，多试试几个） 3、测试#other simple model import codecs import os from sklearn.neighbors import KNeighborsClassifier from sklearn.feature_selection import SelectPerc
python 安装ltp
fivemillion的博客
08-02 1327
python安装pyltp
Python 简单安装LTP
关心粮食和蔬菜
03-17 3800
pip install pyltp失败 可以尝试以下方法，我认为成功率100% 1、下载pyltp whl文件 （已经编译好的pytlp，不需要C++编译工具，但是网上只有python3.5和3.6两个版本） 链接：https://pan.baidu.com/s/13tupCY6OAKbbuXWQAc_O0g 提取码：u1s1 2、如果你的python版本不是3.5或3.6，打开anaconda powershell prompt(没有anaconda，就下载anaconda)，创建虚拟环境，步骤如下：
python语音标注平台_Python下的自然语言处理利器-LTP语言技术平台 pyltp 学习手札...
weixin_39627665的博客
12-10 295
1 什么是pyltp语言技术平台(LTP) 是由 哈工大社会计算与信息检索研究中心 11年的持续研发而形成的一个自然语言处理工具库，其提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精准的自然语言处理技术。LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块(包括词法、句法、语义等6项中文处理核心技术)，以及基...
python3.6-python3.9版本的pyltp的安装文件，文件为.whl文件
03-26
Pyltp是Python中的一个自然语言处理库，它提供了中文语言处理工具包（LTP，Language Technology Platform）的接口。LTP是由哈工大社会计算与信息检索研究中心开发的一套开源工具，主要用于中文的分词、词性标注、...
linux下python3.7安装pyltp库
06-19
在Linux环境下为Python3.7安装`pyltp`库是一项常见的任务，特别是在进行自然语言处理（NLP）和中文文本分析时。`pyltp`是基于LTP（Language Technology Platform，语言技术平台）的Python接口，由哈工大社会计算与...
自然语言处理：pyltp安装教程与问题汇总
12-21
pyltp 是哈工大自然语言工作组推出的一款基于Python 封装的自然语言处理工具（轮子），提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能。 2、pyltp安装方法 安装环境：windows10，python3.6 ...
pyltp-python37版本.rar
03-23
pyltp是基于Python的LTP（Language Technology Platform）接口，它为自然语言处理（NLP）提供了一套高效、便捷的工具集，主要用于词法分析、句法分析、命名实体识别等任务。这个压缩包"pyltp-python37版本.rar"是...
pyltp:pyltp
05-10
pyltp pyltp 是 的 Python 封装。 在使用 pyltp 之前，您需要简要了解 能否帮助您解决问题。 目前基于Pytorch的LTP4 已经发布，而PyLTP将会只有非常有限的维护，请大家移步使用[LTP 4]() 依赖支持情况 Python 2.7, 3.x, and PyPy (PyPy2.7 >= 5.7) 一个简单的例子 下面是一个使用 pyltp 进行分词的例子 # -*- coding: utf-8 -*- from pyltp import Segmentor segmentor = Segmentor("/path/to/your/cws/model") words = segmentor.segment("元芳你怎么看") print("|".join(words)) segmentor.release() 除了分词之外，pyltp 还提供词性标注、命名
pyltp的安装 包
07-20
支持python3.6的pyltp，可用于实体识别，文本切词等相关工作
ltp_data_01
01-31
CEC 采用了 XML 语言作为标注格式，其中包含了六个最重要的数据结构（标记）：Event、Denoter、Time、Location、Participant 和 Object。
编译好的pyltp，分享给大家，python3.5 3.6两个版本 pyltp-python3.5&3.6.zip
09-09
总的来说，这个压缩包提供了pyltp库的预编译版本，特别是对于使用Python 3.5和3.6的Windows用户，大大简化了安装过程，使得他们能够快速开始进行中文自然语言处理的工作。同时，这也展示了开源社区的共享精神，通过...
LTP4.2.0 哈工大分词 库python使用踩坑
qq_40806027的博客
11-09 1096
方法 1： 使用清华源安装 LTP# 1. 安装 PyTorch 和 Transformers 依赖# 2. 安装 LTPMac BigSur 11 + Python 3.9 成功。
pyltp
FreeEleven的博客
06-15 1238
# -*- coding: utf-8 -*- import os from numpy import * from pyltp import SentenceSplitter from pyltp import Segmentor from pyltp import Postagger from pyltp import NamedEntityRecognizer LTP_DATA_DI...
pyltp库的安装
qq_53094315的博客
01-19 2839
一、Pyltp库是什么？ LTP提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。 pyltp 是 LTP 的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能。 二、Pyltp库的安装 Pyltp库支持python2和python3。 但是直接在python3.8进行安装会报错。 pip install pyltp 解决办法是安装低版本python，使用wheel 1、我安装的是Anaconda3-4
在python中使用哈工大LTP进行自然语言处理（安装和结果分析）
weixin_44243926的博客
05-17 9509
目录一、LTP介绍二、安装1. 安装pynlp2. 下载模型文件三、python下的功能实现1.代码参考2.结果说明 一、LTP介绍 语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 高效、精准的自然语言处理技术。 语言技术平台（LTP）使用文档 pyltp文档 二、安装 环境：python3.6 win10 官方文档： http://lt...
面试题 21：解释 Python 中的 help() 函数和 dir() 函数？
最新发布
专注于全栈开发领域
07-10 730
在Python中，help()和dir()是两个非常有用的内置函数，它们可以帮助开发者更好地了解Python对象和模块。
nlp自然语言处理python
09-14
NLP（自然语言处理）是一门研究如何使计算机能够理解和处理人类语言的领域。Python是一种广泛用于编程的编程语言。结合Python和NLP可以进行各种自然语言处理任务，如文本分类、命名实体识别、情感分析等。在Python中，有许多流行的库和工具可供使用，以便进行NLP任务。以下是一些常用的Python库和工具： 1. NLTK（自然语言工具包）：它是Python中最常用的NLP库之一，提供了许多用于文本预处理、词性标注、词袋模型、语法分析等任务的功能。 2. spaCy ：这是另一个流行的Python库，它提供了高效的自然语言处理功能，包括分词、词性标注、命名实体识别和依赖解析等任务。 3. TextBlob ：这是一个易于使用的Python库，它提供了一系列简单的API，用于处理常见的NLP任务，如情感分析、词性标注和文本分类。 4. Gensim ：它是一个用于主题建模和文本相似度计算的Python库，可以用于处理大规模的文本数据。 5. Scikit-learn ：这是一个通用的机器学习库，其中包含了许多用于文本分类、情感分析和文本聚类等任务的算法。 这些库和工具为Python开发者提供了丰富的功能和资源，便于进行各种NLP任务的开发和实验。你可以根据具体的需求选择适合的库和工具，并结合相关的算法和技术来处理自然语言数据。希望这些信息能够帮助到你。 NLTK官方网站：https://www.nltk.org/ spaCy官方网站：https://spacy.io/ TextBlob官方网站：https://textblob.readthedocs.io/ Gensim官方网站：https://radimrehurek.com/gensim/ Scikit-learn官方网站：https://scikit-learn.org/stable/

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坦笑&&life

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值