一、数据分析
每一条包括:
theme:新闻关键内容
category:新闻种类
URL:链接
content:新闻内容
额,看着很不舒适……
二、数据预处理
(一)读入数据
import pandas as pd
import jieba#结巴分词模块
import numpy
df_news=pd.read_table('./data/val.txt',names=['category','theme','URL','content'],encoding='utf-8')
df_news=df_news.dropna()
print(df_news.shape)
df_news.head()
(二)使用jieba分词器进行分词
content=df_news.content.values.tolist()
#df_news的content列中,用.values拿到该列值,.tolist代表转换成list格式。
print(content[1000])
content_S=[]
#对每条新闻进行分词
for line in content:
current_segment=jieba.lcut(line)
if len(current_segment)>1 and current_segment!='\r\n':
content_S.append(current_segment)
content_S[1000]
输出索引为1000的该条新闻
输出索引为1000的该条新闻分词后的结果
将分词的结果转换成DateFrame表格形式
#将分词结果转换成DataFrame表格,只有content列
df_content=pd.DataFrame({'content_S':content_S})
df_content.head()
(三)停用词处理
pandas.read_csv(...)
·filepath_or_buffer : str,path对象或类文件对象
·sep : str,默认','分隔符使用。
·index_col : int,sequence或bool,可选。用作DataFrame的行标签的列。
·names : 类似数组,可