文本分类一些总结

FastText： 适用于文本长度长，且速度需求高的场景

TextCNN：适用于短文本场景，不适合长文本，引文卷积核尺寸不会太长，无法捕获长距离特征

DPCNN：对TextCNN的改进

1. 在Region embedding时不采用CNN那样加权卷积的做法，而是对n个词进行pooling后再加个1x1的卷积，因为实验下来效果差不多，且作者认为前者的表示能力更强，容易过拟合
2. 使用1/2池化层，用size=3 stride=2的卷积核，直接让模型可编码的sequence长度翻倍（自己在纸上画一下就get啦）
3. 残差链接，参考ResNet，减缓梯度弥散问题

TextRNN：除了DPCNN那样增加感受野的方式，RNN也可以缓解长距离依赖的问题。

TextBiLSTM+Attention：前面介绍的几种方法，可以自然地得到文本分类的框架，就是先基于上下文对token编码，然后pooling出句子表示再分类。在最终池化时，max-pooling通常表现更好，因为文本分类经常是主题上的分类，从句子中一两个主要的词就可以得到结论，其他大多是噪声，对分类没有意义。而到更细粒度的分析时，max-pooling可能又把有用的特征去掉了，这时便可以用attention进行句子表示的融合

HAN：先对每个句子用 BiGRU+Att 编码得到句向量，再对句向量用 BiGRU+Att 得到doc级别的表示进行分类。

Bert：多试试不同的预训练模型，比如RoBERT、WWM、ALBERT

综上：适合长文本分类的模型包括FastText、HAN、Bert、XLNet。

前期准备：

1.数据集构建，贴近现实任务的文本分类，训练测试验证集。。

2.数据清洗，