从参数影响力了解反向传播

反向传播思想简述(影响力的角度)
个人对链式求导法则的简单理解,不从数学角度。
1.不管哪一层的隐藏层的参数矩阵都是会对输出层结果产生影响的,只不过是影响多影响少的问题,这个要认同。因为结果是参数矩阵叉乘后做非线性变换的出来的
2.输出层的参数矩阵对最后结果影响大,第一次隐藏层的参数矩阵对输出结果影响小,这个也要认同,因为输出层的参数矩阵离结果最近,第一层隐藏层参数矩阵离结果最远。
3.最后怎么解决这个影响大小的偏差呢?
乘上小数。我们拿第一层隐藏层参数矩阵对输出结果做偏导的时候,不能单单拿求导结果作为最终梯度结果。我们还要乘上小数,使得求导结果变小了,达到我们削弱影响力的作用。那这个时候又会产生新的问题。
a)那这个小数是什么呢?
b)怎么实现让不同隐藏层的便导乘上不同的小数,产生不同的影响力呢
第一,我们都知道单独对每一次的参数矩阵的做求导是小于1的,所以我们就拿他做为小数;
第二,只要我们让每一层乘上该层到输出层间隔中所有层的求导结果,就可以为每一层的参数矩阵乘上了不同影响力的小数。
举例: 第一层隐藏层离输出层间隔五层,我们就要乘上5个小数(后五层参数矩阵的求导结果),那么第二层隐藏层举例输出层间隔四层。我们只需要乘上四个小数(后四层参数矩阵的求导结果),
反向传播的反向就是从最后一层开始,一步步求到第一层隐藏层,因为每一层的计算都需要前一层的结果。
这是我从循环神经网络中在参数对结果有不同影响力的角度理解反向传播,这样少了数学原理,更好理解

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值