新闻数据分词、词性标注、TF-IDF、词频统计、词云

参考文章

一. 思路

1. 利用pandas读取csv文件中的新闻数据，并创建3个新列用来存放分词结果、词性标注结果、分词+词性标注结果
2. 利用jieba分词工具的posseg包，同时实现分词与词性标注
3. 利用停用词表对分词结果进行过滤
4. 将分词结果以20000条为单位写入txt文档中，便于后续的词频统计以及词云制作
5. 将最终的分词结果与词性标注结果存储到csv文件中

二. 流程

2.1 jieba分词与词性标注

import pandas as pd
import jieba.posseg as pseg, jieba
import time

df = pd.read_csv("ReportData.csv", header=0)
df["split"] = "new"  # 创建分词结果列
df["pos"] = "new"  # 创建词性标注列
df["split_pos"] = "new"  # 创建分词结果/词性标注列


# 调用jieba分词包进行分词
def jieba_cut(news):
    news_dict = dict(pseg.cut(news))
    return news_dict


# 创建停用词列表
def stopwords_list(stopwords_path):
    stopwords = [line.strip() for line in open(stopwords_path, encoding="utf-8").readlines()]
    return stopwords


# 获取分词结果、词性标注结果、分词结果/词性标注结果的字符串
def get_fenciresult(news_dict_afterfilter):
    keys = list(news_dict_afterfilter.keys())  # 获取字典中的key
    values = list(news_dict_afterfilter.values())
    split = "/".join(keys)
    pos = "/".join(values)
    split_pos_list = []
    for j in range