一、比赛题目
二、赛题内容
- 赛题以自然语言处理为背景,要求选手根据新闻文本字符对新闻的类别进行分类,这是一个经典文本分类问题。通过这道赛题可以引导大家走入自然语言处理的世界,带大家接触NLP的预处理、模型构建和模型训练等知识点。
三、赛题数据
- 赛题以匿名处理后的新闻数据为赛题数据,数据集报名后可见并可下载。赛题数据为新闻文本,并按照字符级别进行匿名处理。整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。
- 赛题数据由以下几个部分构成:训练集20w条样本,测试集A包括5w条样本,测试集B包括5w条样本。为了预防选手人工标注测试集的情况,我们将比赛数据的文本按照字符级别进行了匿名处理。
训练集 :
测试集 :
四、评判标准
- 评价标准为类别f1_score的均值。
- F1分数(F1-score)是分类问题的一个衡量指标,它是精确率和召回率的调和平均数,最大为1,最小为0,选手提交结果与实际测试集的类别进行对比,结果越大越好。
赛题理解
- 数据上:主办方就提供了text这一列数据,赛方解释该数据为文本按照字符级别进行了匿名处理,因为TF-IDF 的构建应该能较好的对数据信息进行挖掘。
参考资料
[1] : https://blog.csdn.net/qq_14997473/article/details/82684300
[2]: https://blog.csdn.net/zjn295771349/article/details/84961596?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase