简单的文本新闻分类

最新推荐文章于 2022-07-27 12:06:01 发布

heiqizero

最新推荐文章于 2022-07-27 12:06:01 发布

阅读量225

点赞数 1

分类专栏： Python 文章标签：自然语言处理

本文链接：https://blog.csdn.net/qq_37239381/article/details/107677249

版权

Python 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

简单的一个新闻分类，利用sklearn的TfidfVectorizer(tf-idf方法)，对文本进行分类，由于此处文本进行了数字编译，因此没有用jieba处理文本。附上简单代码

train_data=pd.read_csv('train_set.csv',sep='\t')
train_data.head().append(train_data.tail())
test_data = pd.read_csv('test_a.csv',sep='\t')
test_data.head().append(test_data.tail())
test_x =test_data['text']
train_y = [s for s in train_data['label']]
train_x =  [' '.join(x for x in s.split(' ')) for s in train_data['text']]
test_x =[' '.join(x for x in s.split(' ')) for s in test_data['text']]
from sklearn.feature_extraction.text import TfidfVectorizer
tfid = TfidfVectorizer(max_df=0.4).fit(train_x)
train_x_data = tfid.transform(train_x)
test_x_data = tfid.transform(test_x)
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
clf=lr.fit(train_x_data,train_y)
data = lr.predict(test_x_data)
data = pd.DataFrame(data)
data.to_csv('.\out')