2018 台大李宏毅老师RNN第一课 -- 课件及笔记

1nsights

已于 2022-02-17 10:17:30 修改

阅读量1.2k

点赞数 1

分类专栏：深度学习文章标签： rnn 人工智能深度学习

于 2022-02-15 21:47:19 首次发布

本文链接：https://blog.csdn.net/weixin_44217573/article/details/122952840

版权

原文图片笔记更方便查看+第一课课件下载

原文传送

课件下载地址：课件下载

RNN入门

卷积神经网络相当于人类的视觉，但是它并没有记忆能力，只能处理一种特定的视觉任务，没有办法根据以前的记忆来处理新的任务。
循环网络的提出便是基于记忆模型的想法，期望网络能够记住前面出现的特征，并依据特征推断后面的结果，而且整体的网络结构不断循环，因而得名循环神经网络。

循环神经网络的引子 – slot filling

句子里有一些信息需要填充，比如订票系统的destination，time of arrival

用feedforward的神经网络求解
![image.png](https://img-blog.csdnimg.cn/img_convert/857454e465f1bae9804cc4be8002455f.png#clientId=u94a3c58d-2bb4-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=289&id=u58a910e1&margin=[object Object]&name=image.png&originHeight=578&originWidth=861&originalType=binary&ratio=1&rotation=0&showTitle=false&size=78233&status=done&style=none&taskId=ue1fa7e19-134c-41f6-8b39-9be66939933&title=&width=430.5)
把词汇表示为一个vector
output是一个probability distribution,属于每一个slot的几率
![image.png](https://img-blog.csdnimg.cn/img_convert/04956d61c085d18e38bef427420a4c5b.png#clientId=u94a3c58d-2bb4-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=327&id=u43e304f0&margin=[object Object]&name=image.png&originHeight=654&originWidth=986&originalType=binary&ratio=1&rotation=0&showTitle=false&size=116932&status=done&style=none&taskId=u901375e2-43fb-4875-874a-e702139a304&title=&width=493)
Taipei可能是出发地，也可能是目的地
希望我们的neural network是有记忆力的，根据上下文参数不同的输出

循环神经网络的基本结构

循环神经网络的基本结构特别简单，就是将网络的输出保存在一个记忆单元中，这个记忆单元和下一次的输入一起进入神经网络中。

每次hidden layer产生output的时候，都存到memory里面去
（网络在输入的时候会联合记忆单元一起输入，网络不仅输出结果，还会将结果保存到记忆单元中）
![image.png](https://img-blog.csdnimg.cn/img_convert/33d7c6db6f53d7572b30407533889ef7.png#clientId=u94a3c58d-2bb4-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=341&id=u5249062e&margin=[object Object]&name=image.png&originHeight=682&originWidth=867&originalType=binary&ratio=1&rotation=0&showTitle=false&size=125899&status=done&style=none&taskId=u2114ee43-f94a-401f