以前一直以为矩阵的复合求导和可微函数的链式求导是一样的,但是在推导神经网络梯度公式的时候往往会出现一些符号次序不对的问题,我这里借用吴恩达编程作业中给出的浅层神经网络的案例来计算反向传播的梯度。关于矩阵复合求导法则可以参考:矩阵的复合求导
对于更深层的网络来说同理,可以推出各层的梯度为:
Dropout求导:
神经网络反向传播的矩阵复合求导计算
最新推荐文章于 2024-03-31 14:36:48 发布
以前一直以为矩阵的复合求导和可微函数的链式求导是一样的,但是在推导神经网络梯度公式的时候往往会出现一些符号次序不对的问题,我这里借用吴恩达编程作业中给出的浅层神经网络的案例来计算反向传播的梯度。关于矩阵复合求导法则可以参考:矩阵的复合求导
对于更深层的网络来说同理,可以推出各层的梯度为:
Dropout求导: