论文浅尝 - AAAI2020 | 多通道反向词典模型

论文笔记整理：朱珈徵，天津大学硕士，自然语言处理方向。

---

链接：https://arxiv.org/pdf/1912.08441.pdf

动机

反向词典将一段描述作为输入，并一起输出与该描述匹配的其他词，具有重要实用价值和自然语言处理研究价值，例如有助于解决舌尖现象。但现有的反向词典方法不能很好地处理高度多样化的输入问题且存在大量低频词，因此受人从描述到词的这一推理过程的启发，作者提出了多通道反向词典模型，可以同时缓解这两个问题。模型提供了一个句子编码器和多个预测器。预测器将从输入的描述中识别目标词的不同特征。作者在英汉数据集上评估了文中的模型，包括字典的定义和人类的书面描述，表明该模型达到了目前最先进的性能，甚至在人类书面描述数据集上超过了最流行的商业反向字典系统。

亮点

（1）基于人的描述-词的推断过程，作者提出了多通道反向词典模型，包含多个预测器，每个特征预测器都被视为搜索目标词的信息通道，且分为两个类型：内部通道和外部通道。内部通道与词本身的特征相对应，包括词性标记和语素；外部渠道则反映了与外部知识库相关的目标词的特征，如词类、义原。

（2）作者通过对模型的调试，解决了一词多义的词典任务以及高频和低频单词很难预测等难点，在真实场景数据集实现了当前最佳性能且具有相当良好的稳定性和鲁棒性。

方法及模型

基本框架

该模型的基本框架与句子分类模型基本相似，由一个句子编码器和几个预测器组成，其整体框架如下图所示。作者选择双向LSTM (Bi-LSTM)作为句子编码器，它将一个输入的问题编码为一个向量。在一个句子中，不同的词对句子的表现有不同的重要性，因此，作者将注意机制整合到Bi-LSTM中来学习更好的句子表示。

形式上，对于输入的问题 Q={ q1,...,q2}, 然后将预训练好的 q1,...q_|Q| 得词向量输入Bi-LSTM，其中d为词向量的维数，得到了两个隐藏方向状态的序列：

然后将双向隐藏状态连接，得到无方向隐藏状态以及最后无方向性隐藏状态加权和的句子表