利用python对简书文章进行文本挖掘【词云/word2vec/LDA/t-SNE】

这是一个快速上手词云/word2vec/LDA/t-SNE的一个小例子，实践之后，可以让大家对这些方法有初步的了解。

---

以下代码在jupyter notebook中测试通过，代码请戳这里。

---

简单介绍下数据

简书有个简书交友的专题，某知名博主爬取了该专题2700余篇文章，我就偷个懒直接拿来用了～
数据呢，大概就是长这个样子了：

主要涵盖：作者，主页URL，文章标题，发布时间，阅读量，评论数，喜欢数，文章摘要，文章URL，文中图片URL列表，文章内容等等维度。

该demo实现目标

• 绘制文章词云
• 利用word2vec查找具有高相关性的词语，并绘图显示
• 利用LDA主题模型总结出每篇文章的主题词

提取出文章中的200个关键词绘制词云

光是提取关键字我知道的就有三种方法，分别是：

• 利用counter.most_common()方法直接获取
• jieba.analyse.extract_tags()
• jieba.analyse.textrank()

思路也是惊人的一致：
分词–》提取关键词–》利用WordCloud绘制词云

import warnings
# 忽略警告
warnings.filterwarnings('ignore')

content = df['Artical_Content'].tolist()

# 载入停用词
# quoting : int or csv.QUOTE_* instance, default 0
# 控制csv中的引号常量。可选 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3) 
stopwords = pd.read_csv('./chinesestopword.txt',sep='\n',encoding='utf-8',names=['stopwords'],header=None,quoting=3)

# 结巴分词
import re
import jieba
from collections import Counter

pattern = re.compile('\d+')

# 存放词语和词频
wordsCounter = Counter()

for line in content:
    segs = jieba.lcut(line)
    for seg in segs:
        if len(seg)>1 and seg != '\r\n' and re.search(pattern,seg)==None:
            wordsCounter[seg] += 1

# 将Counter的键提取出来做list
segment = list(wordsCounter)

# 将分好的词列表转化为词典
words = pd.DataFrame({
   'segment':segment})

# 剔除停用词
words = words[~words['segment'].isin(stopwords['stopwords'