DAN Text Classification

Deep Unordered Composition Rivals Syntactic Methods for Text Classification

1. 文中提出了DAN(Deep average network)，说白了就是对于一个句子或者一个段落，把每个单词的embedding进行平均求和，得到第一层固定维度的向量，然后在套几层全连接神经网络。
2. 没有套全连接层的网络叫NBOW, 这个之前经常用，原来叫这个名字
3. 第二个baseline 是 Syntactic Composition， 具体结构可见论文，其时间复杂度高，且比较消耗计算资源

DAN模型

• 训练速度快，且结果较好，和Syntactic Composition性能差不多，但是消耗的计算资源少
• 对于否定词敏感，比如but,not等，常常判断为negative。
• 本质来讲，这个模型没有考虑单词之间的顺序，not在第一个位置和在最后一个位置对于DAN来讲输入都是一样的，所以自然conver不住这种情况。这是模型本身的问题，没有办法改进，除非换模型，比如textcnn就能很好的解决这种情况
• 这个模型相比于传统的NBOW，就是多了几层全连接层，文中提出全连接层能扩大输入的微小变化，所以性能比NBOW好
• 作为有监督学习任务来讲，可以试一试。但是由于全连接层，无法进行无监督学习。相反，NBOW可以无监督学习，比如文本相似度计算等。当然。对于DAN而言，可以通过迁移学习，预训练好全连接参数，实现无监督学习