使用python对微博评论进行分词、文本聚类

前言

爬取了微博博文和发文时间后，进行简单的文本分析。
总体思路：jieba分词、去停用词、K-means聚类、选出各类的主题词
（附上我前面写的爬取微博内容的方法：python+selenium 爬取微博（网页版）并解决账号密码登录、短信验证 ）
这里简单起见，选择了104条文本。每行是微博博文、发文时间。

一、事前准备

安装python3.7、pycharm。

代码我这里分开放，你只要把下面的代码都按顺序拼一起就是完整代码。
开始操作。首先导入包。

import jieba
import csv
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
import nltk
from collections import Counter
# coding = gbk

把上面的复制到pycharm，如果哪行有下划线提示，就说明没有安装该包。
安装步骤：左上角–File–Settings–Prokect–Python Interpreter–右边的小加号–输入包名–install

二、分词、聚类

1.读取文本内容

文件路径大家不一定相同，要自己改一下。（下同）

lines=[]
csv_reader = csv.reader(open("分词/微博test.csv"))
for row in csv_reader:
    lines.append(row[0])

2.jieba分词

# 获取初步的分词结果
jiebaword = []
for line in lines:
    line = line.strip('\n')
    # 清除多余的空格
    line = "".join(line.split())
    # 默认精确模式
    seg_list = jieba.cut(line, cut_all=False)
    word = "/".join(seg_list)
    jiebaword.append(