“达观杯”文本智能处理挑战赛①：Introduction

1.任务描述

达观杯是一个长文本分类问题，文本的长度非常长，最长的句子超过1w个词，一般任务也就300词。

文本进行过脱敏处理，任务目标是判断文本数据属于什么类别，类别总共有19种。比如给你一段新闻文章，判断文章属于经济、政治还是娱乐或者其他的类别。横坐标是种类名称(脱敏的)，纵坐标是对应的语料数量。

建立模型通过长文本数据正文(article)，预测文本对应的类别(class)。

传统监督学习模型文本分类的基本过程

 

2.数据集

数据集都是脱敏的

①训练集

train_set.csv：此数据集用于训练模型，每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列： 第一列是文章的索引(id)，第二列是文章正文在“字”级别上的表示，即字符相隔正文(article)；第三列是在“词”级别上的表示，即词语相隔正文(word_seg)；第四列是这篇文章的标注(class)。

注：每一个数字对应一个“字”，或“词”，或“标点符号”。“字”的编号与“词”的编号是独立的！

②测试集

test_set.csv：此数据用于测试。数据格式同train_set.csv，但不包含class标签。

注：test_set与train_test中文章id的编号是独立的。

3.评分标准

评分算法：binary-classification

采用各个品类F1指标的算术平均值，它是Precision 和 Recall 的调和平均数。

  

其中，Pi是表示第i个种类对应的Precision， Ri是表示第i个种类对应Recall。

拓展：

https://blog.csdn.net/weixin_42662262/article/details/89044804