Softmax函数

Softmax函数简介

数学含义

　　　在数学中，softmax函数，又被称为归一化指数函数，是逻辑函数的一般化形式，它能够将一个$K$维的向量$z$转化成一个$K$维的、元素在$[0, 1]$范围内的向量$\sigma(z)$，而且向量$\sigma(z)$中元素加起来等于$1$。softmax函数的形式如下：

$$\sigma(z)_j = \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}} for j = 1, ... , K$$

---

概率论含义

　　　在概率论里，softmax函数的输出可以用于表示一个类别分布（categorical distribution），也就是说，是关于$K$个不同可能结果的概率分布。事实上，softmax函数是类别概率分布中的梯度-对数-归一化工具（gradient-log-normalizer）。
　　　softmax函数被用于不同的多类别分类方法中，例如多类别逻辑回归、多类线性判别分析、朴素贝叶斯分类器和人工神经网络等。而在多类逻辑回归和线性判别分析中，softmax函数的输入是$K$个不同的线性函数的结果（也就是$K$个$x^Tw_j$）；函数的输出是给定样本向量$x$和权重向量$w$下，样本向量属于第$j$个类别的预测概率，预测概率的公式如下：

$$P(y=j|x) = \frac{e^{x^Tw_j}}{\sum_{k=1}^{K}e^{x^Tw_k}}$$

---

参考资料

softmax函数-维基百科 https://en.wikipedia.org/wiki/Softmax_function