零基础入门NLP- 新闻⽂文本分类
比赛地址https://tianchi.aliyun.com/competition/entrance/531810/introduction
Task1 赛题理理解
赛题数据为新闻文本,并按照字符级别进行匿名处理,整合划分出14个候选分类:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。
评测指标为类别f1_score的均值。
解题思路
思路1:TF-IDF+机器学习分类器
TF-IDF算法介绍
思路2:FastText
FastText介绍
思路3:word2vec+深度学习分类器
word2vec是一款进阶的词向量,深度学习分类器可以选用TextCNN、TextRNN或BiLSTM
思路4:Bert词向量
Task2 数据读取与数据分析
数据读取
import pandas as pd
train_df=pd.read_csv('./train_set.csv/train_set.csv',sep='\t')
train_df.head()
%pylab inline
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))#统计每一条文本的字符数量
print(train_df['text_len'].describe())
#绘制字符数量的直方图
_ = plt.hist(train_df['text_len'</