天池&Datawhale 新闻文本分类比赛 第2名参赛经验、源码分享

如果你不希望看我下面的废话，只想看源码，我可以满足你的愿望：

源码地址：
https://github.com/ZhouNLP/tcnlp

只要你参加过此次比赛，应该都能看懂。

比赛地址:
https://tianchi.aliyun.com/competition/entrance/531810/introduction

前言

作为一个纯新人，系统学习人工智能半年多的时间，第一次参加AI比赛，能取得这样的成绩是参加前万万没想到的。虽然这个比赛属于NLP基础任务，难度较低，但是参赛人数并不少。8月初参赛时第一次上传成绩120+，两天后再看，已经被挤到170+。当时想，努力下进前100，最好能进前50，这样已经很满意了。谁曾想，20天以后，我已经在考虑怎么超过第一了。（着实膨胀了）下面是我参加此次比赛的心路历程，以及一些经验体会，希望能对大家有所借鉴。

比赛历程

1.TF_IDF

因为是新人参赛，所以是一路跟随赛事官方提供的baseline，以及阿水老师的指导，从最基础的 tf_idf 开始做起。在长文本分类中，只考虑频率的特征向量，能取得比较好的效果（f1值 0.94+），这其实也并不难理解。类似于SEO中的关键词密度（一种搜索引擎判定网页主题权重的传统方法），或者写论文时，由作者设置的文章关键词。文章中出现次数多的字词自然容易体现文章的主题类别。由于匿名数据，无法做中文分词，n-gram的加入就显得尤为重要，后期的CNN也是类似的思路。

2.FastTEXT

我理解的fasttext，就是简化版的word2vec。我们参加比赛并不重视算法效率问题，既然有真正的word2vec可以用，我就没有认真研究这个算法。简单调参了一下baseline，发现最好的f1值也没超过TF_IDF的表现，然后就直接放弃了。

3.CNN

从这个模型开始，正式进入了本次比赛的重头戏——深度学习模型。赛事方给出的3个深度学习baseline都是基于分层attention的HAN网络，这一经典的长文本分类模型。区别在于WordEncoder使用了不同的网络，首先是CNN，使用了类似n-gram的方式提取词组特征。不出所料的与TF_IDF一样取得了很好的效果（F1值 0.95+）。我对CNN没有进行任何网络结构的改动，只是通过调参（主要是学习率和batch_size），使得模型在baseline的基础上有了不小的提升。当然，调参过程并不轻松，