Softmax代价函数求导过程

Cost Function

参考UFLDL的Softmax回归，SoftMax回归的的损失函数形为：

$$J(\theta) = -\frac{1}{N}\sum_{i=1}^m\sum_{j=1}^k\left( I\left(y^{(i)} = k\right) \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{\theta_j^T x^{(i)}}} \tag{1.1}\right)$$

有：

J(θ)==−1N∑i=1m∑j=1k(I(y(i)=k)(logeθTjx(i)−log∑