在很多NLP系统中,包括传统计数和深度学习模型中,稀疏词和未登录词的处理是一个很重要的问题,模型中用了两个softmaxt层用于预测条件语言模型中的next word,
其的生成有两种来源(1)原句子中的token(原句子指的是input sentence), (2)shortlist vocabulary(如果任务是机器翻译,shortlist vocabulary 是目标语言中部分词)
shortlist vocabulary的来源:以往的机器翻译任务,只有一个输出层,以我们的想法,输出层的维度是目标语言中单词的个数,这就产生了一个问题,如果目标语言单词量非常大,而且输出层是one-hot表示,那么输出层的神经元细胞数量也将非常大(假设有一万个单词,那么有一万个神经元),就大大增加了计算代价,所以就定义了word-shortlist , 将训练集中target language 频率很高的K个词放到word-shortlist中,其他词用UNK 表示
这种表示方法又有两种问题:(1)shortlist中一些词在 training data 中是rare word, 很难对其学一个好的representation, 导致性能不佳.(2)把很多词表示成UNK会丢失很多信息,即便是扩大shortlist的量这个问题也不能避免
在很多给出source sentence预测target text的NLP任务中,发现这样一种现象,target text中的一些词出现在source sentence中,比如说日期,实体信息等,所以本文的思想是讲target text中的token来源分为两类,一类是从source sentence中复制,另一类就是从shortlist中生成
目前解决稀疏词和未登录词目前做法可分为三类
(1)尽量提升速度,增加shortlist dictionary
(2) target text 中某些词 复制source sentence(本文属于此类)
(3) 从更小单元入手选择character 而非word
普通 attention 做机器翻译的框架 以及公式不做过多介绍,本文给出的框架如下:
网络框架有两个输出层:(1)普通的softmax层 (2)point softmax层
也就是说target sequence中next token的输出可能是输出层(1)的结果,也可能是(2)的结果,到底该选择用那个输出层生成next token 呢, 为了解决这个问题,本文引入了switching network, 该网络输出z
t
=1 时选择输出层(1),z
t
=0
时悬着point softmax输出层
特别注意的是如果要生成的词既不做shortlist中又不在context sequence中,就选择shortlist中的UNK
上图中的生成的是两个输出层的输出结果。
是switching network的输出结果
感觉自己写的太啰嗦了,下次大概说出paper的大概思想即可
明天更《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》两篇文章思路差不多,明天再说