普通RNN的记性不好

朋友们,如需转载请标明出处:http://blog.csdn.net/jiangjunshow

 

我们先来看两个句子。

第1个句子是:“李白前些天去万花楼嫖娼,脱了衣服正要准备和明月姑娘行周公之礼时,几个捕快冲进来将给捆绑了”。

第2个句子是:“李白和蒲松龄前些天去万花楼嫖娼,脱了衣服正要准备和明月姑娘行周公之礼时,几个捕快冲进来将他们给捆绑了”。

第1个句子中因为是一个人,所以使用“他”,第2个句子中,因为是两个人,所以用的“他们”。具体该使用“他”还是“他们”,是要根据句子前面的部分来判断的。假设一个人记性非常不好,当他在说到“几个捕快冲进来将”时,忘记了前面的内容,那么他就不知道接下来该使用“他”还是“他们”了。

 

普通RNN的记性也非常不好,无法记住间隔比较远的时间步的信息,这就导致无法根据上下文信息来生成语法正确的句子。例如在生成英语句子时,要注意单数和复数形式。“The cat,which already ate …,was full”和“The cats,which already ate …,were full”

 

RNN的记性不好,是由于梯度消失造成的。还记得我们之前说过,很深的神经网络很容易发生梯度爆炸或梯度消失。因为有时候梯度会呈指数级增长或减小,随着层数越来越多,最终就导致了梯度爆炸或梯度消失。在RNN中,随着时间步越来越多,也会发生梯度爆炸或梯度消失。也就是说,经过很多时间步之后,到达“将”字关联的时间步时,与“李白”这个词相关的时间步的信息已经消失了,所以接下来就不知道是该使用“他”还是“他们”了。时间步相隔的越远,那么信息互通能力就越差;有点像鱼一样,只有三秒记忆,只能受到附近的时间步的信息影响。

 

所以为了解决记性不好的缺点,我们要尽量避免梯度爆炸和梯度消失。通常来说梯度爆炸是比较容易发现,也比较容易解决的。因为梯度爆炸时,数值会巨大无比,最终超出计算机的数值范围,就会将该值设置为NaN(Not a number)。发现梯度爆炸后也很好解决,只要使用梯度修剪就可以了。梯度修剪就是指设置一个阈值,如果梯度值超过了这个阈值,那么就对梯度值进行缩放。梯度消失就比较难解决,这个我后面的文章会讲解通过解决梯度消失来解决RNN记忆不好的毛病。

评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符 “速评一下”
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页