![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
xingkongyidian
这个作者很懒,什么都没留下…
展开
-
RNN理解
RNN循环神经网络,用来解决序列问题。1 引入如下图,在处理序列(例如sentence)问题时候,word Taipei 在arrive 和leave后面含义不同,分别代表出发地和目的地,也就是说word和word间相互影响。在处理当前word时需要前面的word信息,network 需要有记忆力于是,RNN出现了2 simpleRNN3 Bidirectional RNN有时处...原创 2019-02-28 16:41:02 · 1741 阅读 · 0 评论 -
神经网络反向传播理解
一 、反向传播的作用训练神经网络的目标是 优化代价函数,使得代价函数找到一个 全局最小值或者局部最小值。不管使用何种梯度下降算法(BGD, SGD ,Adam),都需要先算出各个参数的梯度。 反向传播的作用: 就是快速算出所有参数的偏导数。二、 求导数的方式求导数通常可以分为两类,一类是直接用定义,第二类是公式法(包括链式法)。定义法:定义法求导数存在问题: 当参数较多时(如:100万...原创 2019-07-25 15:04:09 · 11388 阅读 · 0 评论