我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等。虽然现在已经开源了很多深度学习框架(比如MxNet,Caffe等),训练一个模型变得非常简单,但是你对损失函数求梯度是怎么求的真的了解吗?相信很多人不一定清楚。虽然网上的资料很多,但是质量参差不齐,常常看得眼花缭乱。为了让大家少走弯路,特地整理了下这些知识点的来龙去脉,希望不仅帮助自己巩固知识,也能帮到他人理解这些内容。
这一篇主要介绍softmax loss对输入的求导(或者叫cross entropy loss function对输入的求导),算是网络里面比较难懂的一块内容,公式较多,但是很容易看懂,需要静下心来看。
接下来我会先介绍softmax对输入求导的推导过程,然后给出softmax loss对输入的求导推导。
先推导softmax对输入的求导:
回顾下:卷积神经网络系列之softmax,softmax loss和cross entropy介绍的softmax,就是下面这个公式: