零基础入门NLP- 新闻⽂文本分类

最新推荐文章于 2024-04-09 15:49:47 发布

Cloris666

最新推荐文章于 2024-04-09 15:49:47 发布

阅读量334

点赞数

文章标签：机器学习深度学习人工智能大数据数据挖掘

本文链接：https://blog.csdn.net/qq_40267462/article/details/107477026

版权

零基础入门NLP- 新闻⽂文本分类
比赛地址https://tianchi.aliyun.com/competition/entrance/531810/introduction

Task1 赛题理理解

赛题数据为新闻文本，并按照字符级别进行匿名处理，整合划分出14个候选分类：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。
评测指标为类别f1_score的均值。

思路1：TF-IDF+机器学习分类器
TF-IDF算法介绍
思路2：FastText
FastText介绍
思路3：word2vec+深度学习分类器
word2vec是一款进阶的词向量，深度学习分类器可以选用TextCNN、TextRNN或BiLSTM
思路4：Bert词向量

数据读取

import pandas as pd 
train_df=pd.read_csv('./train_set.csv/train_set.csv',sep='\t')
train_df.head()

在这里插入图片描述

%pylab inline
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))#统计每一条文本的字符数量
print(train_df['text_len'].describe())

在这里插入图片描述

#绘制字符数量的直方图
_ = plt.hist(train_df['text_len'</

关注