本文仅是博主自己学习用来加深印象和留存整理,对该内容有兴趣请去阅读原文。
神经网络
单图像分类器的深度神经网络:
- 先检测低级图形,形状或棱边
- 更复杂的特征,人脸或猫
- 更具细节的特征,活动或动作
利用RNN记忆信息
递归神经网络(RNN):对当前情形的判断不止与现在的输入有关还和以前的状态有关,如之前有一副超市的画面,现在一个人手拿培根,那他更可能是在购物而不是做饭。
递归神经网络就是把中间隐含层当作记忆。
利用LSTM实现更长久的记忆
RNN改写记忆的方式是无序的,更新过程十分混乱,很容易造成错误的认识。
LSTM通过以下方式实现长久的精确的记忆:
1. 添加遗忘机制。判断不相关的不记
2. 添加保存机制。有价值的保存到长期记忆中
3. 将长期记忆聚焦为工作记忆。判断长期记忆中立刻发挥作用的用于工作
模型对比
神经网络
RNN
LSTM
LSTM的数学表达
在新时间t,会收到一个新的输入xt,此时还需将长期记忆和工作记忆更新。
通过对输入xt的计算可以学习到信息,作为长期记忆的候选记忆。通过激活函数对候选记忆进行处理判断,0和1之间,最终忘记不需要的并保存有用的,即得到更新后的长期记忆。
工作记忆的更新:关注向量为1(一个公式判定后为1)的则立刻发挥作用。
总结来说,普通的RNN只是利用一个方程式来更新它的隐状态/记忆,而LSTM则是利用数个方程组
学习如何编码
……
额,后面的就暂时看不懂了。。。暂时先去学习下别的基础的再回来重新看一下。。。