Convolutional Neural Networks for Sentence Classification
1. Abstract
- 证实了:
- 一个简单的CNN结构 + 微调少许超参 + 静态向量 = 性能超好
- 在fine-tuning阶段学习task-specific向量能进一步提升性能
- 为了能同时使用静态向量和task-specific向量,对结构进行小调整,提出了Text CNN
- 在情感分析、问题分类等4个领域达到了十分好的效果
所谓静态向量就是指预训练好的词向量;task-specific向量是指词向量也可以在下游任务中,随着模型一同微调。
2. Introduction
- Kim之前利用预训练好的词向量(全程保持不变,也就是静态向量)加载到具体任务中,并只对模型的少许参数做微调,发现仿真结果也很好,证实了词向量可以作为一个通用的特征提取部件,并可被广泛用于各类分类任务中。当然从今天的角度来看,这已经是共识了。
- 不过Kim认为工作不止于此,如何在fine-tuning中学习task-specific向量更加重要。
3. Model
k k k | x i ∈ R k x_i∈R^k xi∈Rk | n n n | ⊕ ⊕ ⊕ | 输入文本 |
---|---|---|---|---|
词向量维度 | 输入文本第 i i i个词的词向量 | 输入文本长度(不足补全,超过截断) | 联接符 | x 1 : n = x 1 ⊕ x 2 ⊕ . . . ⊕ x n x_{1:n}=x_1⊕x_2⊕...⊕x_n x1:n=x1⊕x2⊕ |