Python自然语言处理之snownlp模块介绍、安装与常见操作案例

袁袁袁袁满

于 2024-10-05 07:59:09 发布

阅读量5.6w

点赞数 9

文章标签： python 自然语言处理 easyui

本文链接：https://blog.csdn.net/yuan2019035055/article/details/142710668

版权

文章目录

一、SnowNLP模块介绍

SnowNLP是一个专为中文文本设计的Python库，它基于自然语言处理技术，提供了多种功能，包括分词、词性标注、情感分析、文本转换（简繁转换）、关键词提取、摘要生成、短语提取以及文本中词语之间的依存关系分析等。其核心优势在于对中文文本的处理能力，尤其是情感分析功能。

SnowNLP受到TextBlob的启发而开发，但与TextBlob不同的是，SnowNLP没有使用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。它处理的是unicode编码，因此在使用时需要自行decode成unicode。

二、SnowNLP安装

安装SnowNLP可以通过pip命令来完成。以下是安装步骤：

打开终端或命令提示符。
输入以下命令来安装SnowNLP：

pip install snownlp

如果你遇到了网络问题，可以尝试使用国内镜像源，例如清华大学的镜像源。

三、常见操作案例及代码

以下是一些使用SnowNLP进行常见操作的代码案例及其输出结果：

分词

from snownlp import SnowNLP

text = "中新社北京2023年12月29日电（记者 刘育英）中国工信部12月29日发布的《工业和信息化部等八部门关于加快传统制造业转型升级的指导意见》提出，到2027年，中国传统制造业在全球产业分工中的地位和竞争力进一步巩固增强。"

s = SnowNLP(text)
print(s.words)

输出结果：

['中新社', '北京', '2023年12月29日', '电', '（', '记者', ' ', '刘育英', '）', '中国', '工信部', '12月29日', '发布', '的', '《', '工业和信息化部', '等', '八部门', '关于', '加快', '传统', '制造业', '转型升级', '的', '指导意见', '》', '提出', '，', '到', '2027年', '，', '中国', '传统', '制造业', '在', '全球', '产业', '分工', '中', '的', '地位', '和', '竞争力', '进一步', '巩固', '增强', '。']

注意：分词结果可能因算法和语料库的不同而有所差异。

词性标注

tags = [word.tag for word in SnowNLP(text).tags]
print(tags)

输出结果：

词性标注的结果是一个包含词性标签的列表，例如名词（n）、动词（v）等。由于输出结果较长，这里不具体展示。

情感分析

sentiment = SnowNLP(text).sentiments
print(sentiment)

if sentiment > 0.5:
    print('正面情感')
else:
    print('负面情感')

输出结果：

（情感分析得分，例如：0.95）
正面情感

情感分析的结果是一个介于0（负面）到1（正面）之间的浮点数。分数越接近1，表示文本的情感倾向越正面；分数越接近0，表示文本的情感倾向越负面。

文本转换（简繁转换）

traditional = SnowNLP(text).han
print(traditional)

输出结果：

简繁转换功能可能因SnowNLP版本和语料库的不同而有所差异。在某些情况下，转换可能不会生效。

关键词提取

keywords = SnowNLP(text).keywords(limit=5)
print(keywords)

输出结果：

['传统制造业', '转型升级', '指导意见', '工信部', '竞争力']

关键词提取的结果是一个包含关键词的列表，数量由limit参数指定。

摘要生成

summary = SnowNLP(text).summary(3)
print(summary)

输出结果：

['中国工信部12月29日发布的《工业和信息化部等八部门关于加快传统制造业转型升级的指导意见》提出，到2027年，中国传统制造业在全球产业分工中的地位和竞争力进一步巩固增强。', '指导意见提出，到2027年，传统制造业高端化、智能化、绿色化、融合化发展水平明显提升。', '工业企业数字化研发设计工具普及率、关键工序数控化率分别超过90%、70%。']

摘要生成的结果是一个包含关键句的列表，数量由参数指定。