论文:Identity Mappings in Deep Residual Networkshttps://arxiv.org/pdf/1603.05027.pdf
其中对resnet反向传播进行了分析,给出以下公式:
但是反向传播是为了对权重和偏置进行更新,论文中只是分析了对特征x的梯度。
自己对权重的梯度做了分析。
以一个小的示例表达:
其中分为两类,一是对输出层的更新,直接进行求解。
另一个是对中间隐含层的梯度求解,利用论文中给出的公式能够很好的写出。
论文:Identity Mappings in Deep Residual Networkshttps://arxiv.org/pdf/1603.05027.pdf
其中对resnet反向传播进行了分析,给出以下公式:
但是反向传播是为了对权重和偏置进行更新,论文中只是分析了对特征x的梯度。
自己对权重的梯度做了分析。
以一个小的示例表达:
其中分为两类,一是对输出层的更新,直接进行求解。
另一个是对中间隐含层的梯度求解,利用论文中给出的公式能够很好的写出。