![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RNN
mahuatengmmp
本账号已不再使用,所以发私信和评论是没用的
展开
-
[RNN]从零开始学RNN,从入门到入土--part3--GRU,LSTM
传送门:part1–从零开始学RNN,从入门到入土—什么是RNN1.RNN的梯度消失传统的神经网络传统的神经网络层数越深就越难对前面的层数造成梯度下降,也导致整个神经网络梯度消失于是为了解决这一问题,传统的神经网络就出了ResNet这样的解决方案RNN而普通RNN神经网络也有这个问题,随着循环神经网络循环到比较深的地方,也同样很难对前面输入响应造成影像,即前面的循环和后面的循环...原创 2019-10-13 12:48:28 · 232 阅读 · 0 评论 -
[RNN]从零开始学RNN,从入门到入土--part1--什么是RNN
循环序列模型的应用(从上到下)语音识别音乐生成打分DNA分析翻译视频动作分析人名提取关于数据集标注(等长形式:输入和输出长度相同)人名识别X为输入单词,Y为输出Y的标注:在相同位置上Y将反映出X位置上的单词是否为人名单词,并用1,0标注X的标注:建立一个单词表(可大可小,大单词表可以使识别面向的场景更多,小单词表可以通过多收集一些常用单词来提升面向的识别场景)再...原创 2019-10-02 00:05:15 · 733 阅读 · 0 评论 -
[RNN]从零开始学RNN,从入门到入土--part2--反向传播,语言模型
1.反向传播首先对所有的y值进行loss计算再通过梯度下降法右到左进行传播,不断更新w_y,b_y,w_a,b_a没错,就是这么简单的两步而且这个神经网络的有个很有意思的特点,它像一个时间一样,正向传播一个神经网络接收不同的输入,输出不同的输出,反向传播,输出的误差又不断的更新这个神经网络。所以RNN的反向传播又有一个很酷的名字:时间回溯传播(backpropagation thro...原创 2019-10-04 20:27:44 · 200 阅读 · 0 评论