李宏毅深度学习——Recurrent Neural Network (RNN)

m0_58586235

于 2022-03-15 10:36:13 发布

阅读量214

点赞数

分类专栏：李宏毅深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/m0_58586235/article/details/123494885

版权

本文介绍了RNN如何通过记忆功能适应不同情景的输出，并探讨了LSTM的重要结构，强调了LSTM参数量相对CNN的增加，以及在Keras中可用的RNN层。同时提到了RNN的不稳定性问题和解决策略如gradient clipping。

摘要由CSDN通过智能技术生成

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

上图中当我们输入Taipei,一个表达的是目的地，另一个表达的是出发地，我们该如何让神经网络在输入相同时，按照情景不同输出不同，这就需要让神经网络具有记忆功能，能够根据Taipei之前面的单词决定相应输出。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

RNN是具有记忆功能的网络。隐藏层的输出值被储存在了memory中，memory可以继续作为另一个输入值。

例如下图。设所有的权重都为1，没有偏置值。设在开始时memory为0，所以绿色部分的值计算过程为1*1+1*1+0+0=2。此时将2更新到memory中。橘色部分计算为2*1+2*1=4。输入值[1,1]T输出值为[4,4]T

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

输出值[1,1]T

绿色 1*1+1*1+2*1+2*1=6 将6储存到memory中

橘色 6*1+6*1=12

输出值[12,12]T

关注

专栏目录