翻译:@胡杨(superhy199148@hotmail.com) && @胥可(feitongxiaoke@gmail.com)
校对调整:寒小阳 && 龙心尘
时间:2016年7月
出处:
http://blog.csdn.net/han_xiaoyang/article/details/51932536
http://blog.csdn.net/longxinchen_ml/article/details/51940065
说明:本文为斯坦福大学CS224d课程的中文版内容笔记,已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表
1.语言模型
语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为 m 的词汇序列
公式1在语音识别和机器翻译系统中对判定一组词序列是否为相应输入序列的正确生成结果有着极为重要的作用。在一个给定的机器翻译系统中,针对各个短语或句子的翻译任务,软件通常被要求生成一组替代词序列(例如:“我已经”;“我曾有”;“我有”;“被我已经”;“被我占有”)以及它们的得分以判定它们是否能组成最优的翻译序列。
在机器翻译任务中,模型通过计量和比较各个替换输出词序列之间的得分优劣,从它们中为输入短语寻找最佳的答案词序列。为了完成这项工作,模型需要经常在词排序和词选择两个任务模型之间切换。而上面提到的目标将通过为所有的候选词序列设置概率计算函数而达成,这个函数将比较这些候选词序列各自的得分。获得最高得分的候选词序列就是机器翻译任务的输出。例如:相比例句“小的这只猫真是”,机器会给例句“这只猫真小”更高的评分,相比“放学后步行去房子”,“放学后步行回家”会得到更高的得分。为了计算这些概率,将比较统计n元语言模型和词频模型的效果。比如,如果选择2元语言模型,语义2元组的词频通过统计当前词和其前面一个词,这就需要与1元语法模型的词频计算方法区分开来。公式2和3分别展示了2元语义模型和3元语义模型在处理这种关系时的做法。
公式3中表现出来的关系集中于基于上下文中固定窗口内容(例如: n 个前缀词范围)对后续词的预测。在某些情况下,仅仅抽取
然而,在所有传统的语言模型中,由于包含 n 长窗口的语言记忆信息规模会随着系统的运行呈指数式的增长,所以面对较大型的词窗口,如果不将记忆信息单独抽离处理,上面的任务几乎是不可能完成的。
![](http://7xo0y8.com1.z0.glb.clouddn.com/cs224d_5_%E5%9B%BE1.jpg)
图1
2.递归神经网络(RNN)
不同于传统的机器翻译模型仅仅考虑有限的前缀词汇信息作为语义模型的条件项,递归神经网络(RNN)有能力将语料集中的全部前序词汇纳入模型的考虑范围。
图2展示了RNN模型的架构,其中各个垂直矩形框代表每轮迭代的隐层,
![](http://7xo0y8.com1.z0.glb.clouddn.com/cs224d_5_%E5%9B%BE2.jpg)
图2
网络中各个参数的设置细节及含义如下:
- x1,…,xt−1,xt,xt+1,…,xT :表示拥有 T 数量词汇的语料中各个词汇对应的词向量。
ht=σ(W(hh)ht−1+W(hx)xt) :每一轮迭代 t 中用于计算隐层输出特征的传递边
—xt∈Rd :在时刻 t 的输入词向量。
—Whx∈RDh×d :利用输入词向量 xt 作为条件计算得到的权重矩阵
— Whh∈RDh×Dh :利用前一轮迭代的输出作为条件计算得到的权重矩阵
— ht−1∈RDh :在前一轮迭代 t−1 中非线性函数的输出结果。并且 h0∈RDh 为当迭代轮次为 t=0 时的初始化隐层输出向量。
— σ() :为非线性分类函数(这里使用sigmoid分类函数)- y^t=softmax(W(S)ht) :每一轮迭代 t 针对全部词汇的输出概率分布。基本上,