文本分析学习笔记

文本数据的获取

文本数据包括两个部分：评论数据和文章数据，对于评论数据这里推荐两个非常好用额采集器

• 后羿采集器
• 八爪鱼采集器
  这两款采集器非常智能，而且采集的效率很高，不用写代码，但是对于比较复杂的数据还是使用python比较好
  提示：采集数据一定要符合网站采集规范哦

词频统计

**工具：**python的jiaba库
**步骤：**过滤通用词；分词；词频统计
**数据简单描述：**评论数据存放在数据框的“内容”这一列中

1. 获取短评内容

得到的sentences为一个列表，每一个元素为一条评论

sentences = df["发布内容"].dropna().astype(str).values.tolist()

2. 过滤停用词

加载停用词txt，将文本中的停用词用空格代替

with open("stopwords.txt", "r", encoding="utf8") as f:
    stopwords = [line.replace("\n", "") for line in f.readlines()]
for stopword in stopwords:
    sentence = sentence.replace(stopword, "")

3. 加载一些自定义词汇，进行分词的操作

ls = []
    jieba.load_userdict("userwords.txt")
    for sentence in tqdm(sentences):
        sentence = filter_stopwords(sentence)
        words = jieba.lcut(sentence)
        ls.extend(words)

4. 统计词频

word_dict = [(word, freq) for word, freq in Counter(ls).most_common(1000) if len(word) > 1][:1000]
    print(word_dict[:15])

词云图的绘制

 # 绘制词云
 new_textlist =' '.join(ls)   # 将分词组合起来
 pic = imageio.imread("cloud.jpg")  # 读取图片
 color_list = ['#FF0000','#a41a1a'] # 建立颜色数组
 colormap = colors.ListedColormap(color_list)
 wc = WordCloud(background_color='white',# 构造词云的实例对象
             	mask = pic, # 形状
            	min_font_size=2, #字体大小
                max_font_size=60,
                random_state=30,
                font_path="msyh.ttc", # 字体类型
                max_words=1000,
                colormap = colormap,
                collocations=False,
     )
 wc.generate(new_textlist)    #生成词云图
 plt.figure(figsize=(20, 10))    # 画图
 plt.imshow(wc)
 plt.axis("off")
 plt.show()
 wc.to_file(file_name.split('.')[0]+'.png')   #保存图片
    

通过如上步骤就完成了一张简易的词云图的绘制
问题注意：

1. 停用词和自定义词的txt文件需要自己进行指定
2. 词云背景图尽量从晚上找一些背景为纯色的图片，这样效果比较好