重新理解softmax

softmax用于什么地方？

首先 softmax 是用于分类的模型中，无论深度学习还是机器学习。

是多分类的最后一层 激活函数！记住，是激活函数！

和 Logistic回归关系

也谈激活函数Sigmoid,Tanh,ReLu,softplus,softmax

将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

为什么叫softmax？

首先看看max是什么意思？我们知道max，假如说我有两个数，a和b，并且a>b，如果取max，那么就直接取a，没有第二种可能

 

  

当我们对分类的Loss进行改进的时候，我们要通过梯度下降，每次优化一个step大小的梯度，这个时候我们就要求Loss对每个权重矩阵的偏导，然后应用链式法则。那么这个过程的第一步，就是对softmax求导传回去，不用着急，我后面会举例子非常详细的说明。在这个过程中，你会发现用了softmax函数之后，梯度求导过程非常非常方便！