杂谈softmax

Softmax 函数，或称归一化指数函数，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。

Sigmoid ，它能将一个实数映射到(0,1)区间

假设现在我们要给猫和狐狸分类，输入x是一堆特征，最后得到猫的特征表示值1.9，狐狸特征表示值0.6，这样意思是输入包含了更多猫的特征，包含更少狐狸的特征。

这个时候，根据常理，为了做出判断，你肯定会选特征表示值最大（max）的那个，对，也就是猫（1.9）

那么为什么还需要Softmax呢

因为在实际运用中，特征表示值的用途不大, 我们更希望得到具有统计意义的概率

根据softmax公式，预测结果与输入特征之间存在明显相关性。

并且，Softmax 具有更好的解释性，包含属于猫的这一类的特征越多，输出为猫的概率就越大

另外，logits其实和统计中定义的logit=log(p/1-p)没什么太大关系，就是定义的神经网络的一层输出结果。该输出一般会再接一个softmax layer输出normalize 后的概率，用于多分类