python文本处理方向的第三方库_SnowNLP：处理中文文本的Python库,分词

最新推荐文章于 2023-02-26 19:50:31 发布

weixin_39636608

最新推荐文章于 2023-02-26 19:50:31 发布

阅读量1.6k

点赞数 1

文章标签： python文本处理方向的第三方库

SnowNLP是Python中用于处理中文文本的类库，它提供了分词、词性标注、情感分析等功能。通过简单的API，用户可以方便地进行文本处理，例如获取关键词、摘要和情感值。SnowNLP不同于大多数依赖英文处理库的解决方案，它完全自实现了算法，并内置了训练好的字典。

摘要由CSDN通过智能技术生成

SnowNLP是国人开发的python类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。注意本程序都是处理的unicode编码，所以使用时请自行decode成unicode。MIT许可下发行。

from snownlp import SnowNLP

s = SnowNLP(u'这个东西真心很赞')

s.words # [u'这个', u'东西', u'真心',

# u'很', u'赞']

s.tags # [(u'这个', u'r'), (u'东西', u'n'),

# (u'真心', u'd'), (u'很', u'd'),

# (u'赞', u'Vg')]

s.sentiments # 0.9769663402895832 positive的概率

s.pinyin # [u'zhe', u'ge', u'dong', u'xi',

# u'zhen', u'xin', u'hen', u'zan']

s = SnowNLP(u'「繁體字」「繁體中文」的叫法在臺灣亦很常見。')

s.han # u'「繁体字」「繁体中文」的叫法