（一）“达观杯”赛题和数据解读

题目：

建立模型通过长文本数据正文(article)，预测文本对应的类别(class) 。 

题目解读：

文本分类任务的实现，本矢量化后进行逻辑回归训练。

数据：

 

》train_set.csv：此数据集用于训练模型，每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列： 第一列是文章的索引(id)，第二列是文章正文在“字”级别上的表示，即字符相隔正文(article)；第三列是在“词”级别上的表示，即词语相隔正文(word_seg)；第四列是这篇文章的标注(class)。 注：每一个数字对应一个“字”，或“词”，或“标点符号”。“字”的编号与“词”的编号是独立的！

》test_set.csv：此数据用于测试。数据格式同train_set.csv，但不包含class。 注：test_set与train_test中文章id的编号是独立的。
 

数据解读：

对于原始的文本数据我们可以提取提取了tf(词频)、hash(哈希)、tfidf(term frequency–inverse document frequency)词频逆文本频率、lsa(潜在语义特征)、Doc2vec等特征。

对于特征较多的情况下，可以考虑特征融合。

w评分标准：

评分算法
binary-classification

采用各个品类F1指标的算术平均值，它是Precision 和 Recall 的调和平均数

参考文献：

https://www.sohu.com/a/144978854_609569

https://blog.csdn.net/ebzxw/article/details/82528950

https://blog.csdn.net/ZesenChen/article/details/79677976