Python中文文本分词、词频统计、词云绘制

本文主要从中文文本分词、词频统计、词云绘制方面介绍Python中文文本分词的使用。会使用到的中文文本处理包包括：wordcloud,jieba，re（正则表达式）,collections。

1 准备工作

导入相关的包，读取相关数据。

#导入包
import pandas as pd                      #数据处理包
import numpy as np                       #数据处理包
from wordcloud import WordCloud          #绘制词云
import jieba                             #中文分词包
import jieba.posseg as pseg
import re                                #正则表达式，可用于匹配中文文本
import collections                       #计算词频

#读取数据，使用pandas读取csv
df_question = pd.read_csv("D:/data/raw_data_20200401_copy/question.csv",low_memory=False)
#选择问题描述部分
df_description = df_question["description"].drop_duplicates().reset_index() #去除重复问题
list_description = df_description["description"].tolist() 
description_all = "start"
for i in range(999): #选定一定范围作为示范，全部处理实在太多了
    description_all = descript