文本数据的获取
文本数据包括两个部分:评论数据和文章数据,对于评论数据这里推荐两个非常好用额采集器
- 后羿采集器
- 八爪鱼采集器
这两款采集器非常智能,而且采集的效率很高,不用写代码,但是对于比较复杂的数据还是使用python比较好
提示:采集数据一定要符合网站采集规范哦
词频统计
**工具:**python的jiaba库
**步骤:**过滤通用词;分词;词频统计
**数据简单描述:**评论数据存放在数据框的“内容”这一列中
- 获取短评内容
得到的sentences为一个列表,每一个元素为一条评论
sentences = df["发布内容"].dropna().astype(str).values.tolist()
- 过滤停用词
加载停用词txt,将文本中的停用词用空格代替
with open("stopwords.txt", "r", encoding="utf8") as f:
stopwords = [line.replace("\n", "") for line in f.readlines()]
for stopword in stopwords:
sentence = sentence.replace(stopword, "")
- 加载一些自定义词汇,进行分词的操作
ls = []
jieba.load_userdict("userwords.txt")
for sentence in tqdm(sentences):
sentence = filter_stopwords(sentence)
words = jieba.lcut(sentence)
ls.extend(words)
- 统计词频
word_dict = [(word, freq) for word, freq in Counter(ls).most_common(1000) if len(word) > 1][:1000]
print(word_dict[:15])
词云图的绘制
# 绘制词云
new_textlist =' '.join(ls) # 将分词组合起来
pic = imageio.imread("cloud.jpg") # 读取图片
color_list = ['#FF0000','#a41a1a'] # 建立颜色数组
colormap = colors.ListedColormap(color_list)
wc = WordCloud(background_color='white',# 构造词云的实例对象
mask = pic, # 形状
min_font_size=2, #字体大小
max_font_size=60,
random_state=30,
font_path="msyh.ttc", # 字体类型
max_words=1000,
colormap = colormap,
collocations=False,
)
wc.generate(new_textlist) #生成词云图
plt.figure(figsize=(20, 10)) # 画图
plt.imshow(wc)
plt.axis("off")
plt.show()
wc.to_file(file_name.split('.')[0]+'.png') #保存图片
通过如上步骤就完成了一张简易的词云图的绘制
问题注意:
- 停用词和自定义词的txt文件需要自己进行指定
- 词云背景图尽量从晚上找一些背景为纯色的图片,这样效果比较好