在实现了微博评论爬取之后,可以对微博评论提取关键词了。
具体思路是找自然语言处理包,在网上查了半天,中文包目前就看到推荐的snownlp以及jieba。看了一下它们各自的案例介绍,感觉snownlp里面的功能还是没有jieba里面的丰富,特别是不知道snownlp如何自定义分词,而jieba可以比较简单的添加自定义分词以及词性,于是就选了jieba包。
首先我就针对其中一条微博的评论做了文本处理,代码如下:
import jieba
import jieba.analyse
import jieba.posseg as pseg
import re
import jieba.analyse
import jieba.posseg as pseg
import re
jieba.suggest_freq('月子',True)
jieba.add_word('月子',tag='n')
jieba.suggest_freq('无创',True)
jieba.add_word('无创',tag='n')
jieba.suggest_freq('子宫',True)
jieba.add_word('子宫',tag='n')
jieba.suggest_freq('月嫂',True)
jieba.add_word('月嫂',tag='n')
jieba.suggest_freq('例假',True)
jieba.add_word('例假',t
jieba.add_word('月子',tag='n')
jieba.suggest_freq('无创',True)
jieba.add_word('无创',tag='n')
jieba.suggest_freq('子宫',True)
jieba.add_word('子宫',tag='n')
jieba.suggest_freq('月嫂',True)
jieba.add_word('月嫂',tag='n')
jieba.suggest_freq('例假',True)
jieba.add_word('例假',t