对爬取到的微博进行数据处理，jieba分词去停词，tf-idf关键词提取，LDA ：主题模型

主要实现在csv文件里对某一列进行提取，对其进行分词，去停用词，使用TF-IDF ：提取关键词等操作，并把处理好的数据放入到csv文件中去。方便接下来的操作。

# -*- coding:utf-8 -*-
import jieba
import numpy as np
import pandas as pd
fileee="D:\PycharmProjects2020\qingganfenlei\data\weibo1.csv"
# 读取txt列
df = pd.read_csv(fileee,usecols=['name1','txt'],encoding='gbk')
# print(df)
df.dropna(axis=0,subset = ["txt"])   # 丢弃txt这列中有缺失值的行
# print(df.head(3))
# print(df.shape)

# 提取txt这一列进行结巴分词，然后把分号的放进content_S这个列表
txt = df.txt.values.tolist()
name=df.name1.values.tolist()
# print (txt[1])
content_S = []
for line in txt:
    current_segment = jieba.lcut(line)#直接生成一列jieba.lcut 直接生成的就是一个list
    if len(current_segment) > 1 and current_segment != '\r\n': #换行符
        content_S.append(current_segment)
# print(content_S[0])
#把content_S做成一列 起名字
df_content=pd.DataFrame({
   'content_S':content_S})

# print(df_content.head())
#加载停用词表
stopwords=pd.read_csv("data/结巴stopwords.txt", index_col