报名比赛
获取数据
EXCEL读取
Pandas读取
train_df = pd.read_csv(’…/input/train_set.csv’, sep=’\t’)
初步分析
数据分类及标签
0:科技
1:股票
2:体育
3:娱乐
4:时政
5:社会
6:教育
7:财经
8:家居
9:游戏
10:房产
11:时尚
12:彩票
13:星座
初步特征
在训练集中科技类新闻最多,其次是股票类;星座类最少.
Datawhale解题思路
分析:由于该赛题是一个文本分类问题,所以需要根据每句字符进行分类。但赛题给出的数据是匿名化的,不能直接使用中文分词等操作,这个是赛题的难点。
因此本次赛题的难点是需要对匿名字符进行建模,进而完成文本分类的过程。由于文本数据是一种典型的非结构化数据,因此可能涉及到特征提取和分类模型两个部分。为了减低参赛难度,Datawhale提供了一些解题思路供大家参考:
思路1:TF-IDF + 机器学习分类器
直接使用TF-IDF对文本提取特征,并使用分类器进行分类。在分类器的选择上,可以使用SVM、LR、或者XGBoost。
思路2:FastText
FastText是入门款的词向量,利用Facebook提供的FastText工具,可以快速构建出分类器。
思路3:WordVec + 深度学习分类器
WordVec是进阶款的词向量,并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRNN或者BiLSTM。
思路4:Bert词向量
Bert是高配款的词向量,具有强大的建模学习能力。
知识盲区及学习
关于评估机制
关于思路1:TF-IDF + 机器学习分类器
TF-IDF
扫盲贴-TF-IDF
进一步理解IDF
python使用scikit-learn计算TF-IDF
代码待练习
遗留问题及解答:
在本题目中TF和IDF的分母分别是什么
IDF的公式中要df不要加一