【论文笔记】Character-Aware Neural Language Models

一、概要
  该文章发于AAAI 2016，作者提出了仅建立在字符输入，预测在词水平上进行的一个神经语言模型（NLM）。当输入一个LSTM循环神经网络语言模型（RNN-LM）时，该模型在字符上启用了一个卷积神经网络（CNN），让该CNN的输出通过一个 Highway Network，使得效果得到进一步提升。该模型非常适用于形态丰富的语言上，因为其可以获取到丰富的语义和拼写信息。

二、模型方法
2.1 模型结构

  如上图所示，该模型首先是character-level representation经过卷积神经网络，输入经过Highway network，然后再作为LSTM结果的输入，最后经过一个softmax输出概率。

2.2 Character-level Convolutional Neural Network

  假设C为字符集合，d为character embeddings维度的大小，那么$Q ∈ R^{d\cdot|C|}$为character embeddings矩阵，假设存在单词k由字符$[c_{1}, . . . , c_{l}]$组成，其中$l$为单词k的长度，那么单词k的 character-level representation可以表示为$C^{k} ∈ R^{d\cdot l}$，第j列即代表单词中第j个字符的character embedding。
  我们可以使用不同宽度的卷积核$H ∈ R^{d×w}$和非线性函数对上面得到的character embedding获得feature map fk∈Rl−