［不知pandas为何物的纯金小白］Datawhale零基础入门NLP赛事－－天池新闻文本分类－－Day１理解赛题

报名比赛

报名比赛
进入题目页面

获取数据

EXCEL读取

训练数据集
测试集A榜

Pandas读取

train_df = pd.read_csv(’…/input/train_set.csv’, sep=’\t’)

初步分析

数据分类及标签

０：科技
１：股票
２：体育
３：娱乐
４：时政
５：社会
６：教育
７：财经
８：家居
９：游戏
１０：房产
１１：时尚
１２：彩票
１３：星座

初步特征

在训练集中科技类新闻最多，其次是股票类；星座类最少．

Datawhale解题思路

分析：由于该赛题是一个文本分类问题，所以需要根据每句字符进行分类。但赛题给出的数据是匿名化的，不能直接使用中文分词等操作，这个是赛题的难点。

因此本次赛题的难点是需要对匿名字符进行建模，进而完成文本分类的过程。由于文本数据是一种典型的非结构化数据，因此可能涉及到特征提取和分类模型两个部分。为了减低参赛难度，Datawhale提供了一些解题思路供大家参考：

思路1：TF-IDF + 机器学习分类器

直接使用TF-IDF对文本提取特征，并使用分类器进行分类。在分类器的选择上，可以使用SVM、LR、或者XGBoost。

思路2：FastText

FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建出分类器。

思路3：WordVec + 深度学习分类器

WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRNN或者BiLSTM。

思路4：Bert词向量

Bert是高配款的词向量，具有强大的建模学习能力。

知识盲区及学习

关于评估机制

F1_Score

关于思路1：TF-IDF + 机器学习分类器

TF-IDF

扫盲贴-TF-IDF
进一步理解IDF
python使用scikit-learn计算TF-IDF
代码待练习

遗留问题及解答:

在本题目中TF和IDF的分母分别是什么

IDF的公式中要df不要加一

python使用scikit-learn计算TF-IDF还没看懂

文本分类实战——文本分类流程

文本分类实战——文本分类流程