Python---爬虫---清洗---SnowNLP(基础NLP处理库)

安装：pip3 install  snownlp

from snownlp import SnowNLP

s = SnowNLP(data)

1.# 分词

s.words

2.# 词语标注

s.tags

3.# 情感分析

s.sentiments

4.# 转换拼音

s.pinyin

5.# 转换简体

s.han

6.# 提取关键字

s.keywords(3)

7.# 提取摘要

s.summary(3)

8.文本相似度

s.sim(['文章'])

提供训练 ：

# 分词训练
from snownlp import seg
seg.train('data.txt')
seg.save('seg.marshal')
# 词性标注训练
# from snownlp import tag
# tag.train('199801.txt')
# tag.save('tag.marshal')
# 情感分析训练
# from snownlp import sentiment
# sentiment.train('neg.txt', 'pos.txt')
# sentiment.save('sentiment.marshal')