python词频统计完整步骤_Python中文文本分词、词频统计、词云绘制

本文主要从中文文本分词、词频统计、词云绘制方面介绍Python中文文本分词的使用。会使用到的中文文本处理包包括：wordcloud,jieba，re（正则表达式）,collections。

1 准备工作

导入相关的包，读取相关数据。

#导入包

import pandas as pd #数据处理包

import numpy as np #数据处理包

from wordcloud import WordCloud #绘制词云

import jieba #中文分词包

import jieba.posseg as pseg

import re #正则表达式，可用于匹配中文文本

import collections #计算词频

#读取数据，使用pandas读取csv

df_question = pd.read_csv("D:/data/raw_data_20200401_copy/question.csv",low_memory=False)

#选择问题描述部分

df_description = df_question["description"].drop_duplicates().reset_index() #去除重复问题

list_description = df_description["description"].tolist()

description_all = "start"

for i in range(999): #选定一定范围作为示范，全部处理实在太多了

description_all = description_all+list_description[i]

#选取中文：使用正则表达式

fi