苏冉旭的专栏

原创 log softmax的梯度求解 （Gradient of log(softmax) )

背景DNN分类任务中，有两个相似的常见的损失函数：1）二分类：-log(sigmoid(x))， 其等价于softplus(-x)，曲线比较直观，比较好理解。-- 《Deep Learning Book》中有较为详细的推导和曲线图，这里不复述。2）多分类：cross_entropy(softmax(x))，或-log(softmax(x))； 但这个函数不好画曲线，很少有资料描述它的梯...