主要实现在csv文件里对某一列进行提取,对其进行分词,去停用词,使用TF-IDF :提取关键词等操作,并把处理好的数据放入到csv文件中去。方便接下来的操作。
# -*- coding:utf-8 -*-
import jieba
import numpy as np
import pandas as pd
fileee="D:\PycharmProjects2020\qingganfenlei\data\weibo1.csv"
# 读取txt列
df = pd.read_csv(fileee,usecols=['name1','txt'],encoding='gbk')
# print(df)
df.dropna(axis=0,subset = ["txt"]) # 丢弃txt这列中有缺失值的行
# print(df.head(3))
# print(df.shape)
# 提取txt这一列进行结巴分词,然后把分号的放进content_S这个列表
txt = df.txt.values.tolist()
name=df.name1.values.tolist()
# print (txt[1])
content_S = []
for line in txt:
current_segment = jieba.lcut(line)#直接生成一列jieba.lcut 直接生成的就是一个list
if len(current_segment) > 1 and current_segment != '\r\n': #换行符
content_S.append(current_segment)
# print(content_S[0])
#把content_S做成一列 起名字
df_content=pd.DataFrame({
'content_S':content_S})
# print(df_content.head())
#加载停用词表
stopwords=pd.read_csv("data/结巴stopwords.txt", index_col