softmax函数及其性质

本文讨论机器学习中常见的softmax函数，并推导了softmax函数的梯度，讨论了softmax函数的一些基本性质。

softmax函数定义为

$$h_{softmax}(x_i) = \frac {\exp (x_{i})} {\sum_{j=1}^{n}{\exp (x_{j})}}$$

可以认为是先对$x$的每个分量$x_i$做了一个非线性变换$\exp{(\cdot})$，再将变换后的结果归一化到区间$[0,1]$。

然而，上式中存在“冗余”,可以参考UFLDL中关于softmax的相关描述。

Softmax regression has an unusual property that it has a “redundant” set of parameters

这是因为$x_{i}, i=1,2,\cdots,n$实际只有$n-1$个自由变量。例如，将式中分子分母同时除以$\exp(x_1)$并用$x_j$代替$x_1-x_j$，得到：

$$h_{softmax}(x_i) = \frac {1} {1+\sum_{j=2}^{n}{\exp (-x_{j})}}$$

sigmoid函数是softmax函数在$n=2$的一种特殊情形。取$x_1=0$， $x_2=x$：

$$h_{sigmoid}(x) = \frac {1}{ 1+ \exp (-x)}$$

sigmoid函数经常用于二元回归问题，而softmax则可以应用于多元回归，可以认为softmax函数是sigmoid函数的推广。

下面推导softmax函数的导数
为简化推导过程，令归一化参数$Z = {\sum_{j=1}^{n}{\exp (x_{j})}}$，则：

$$\begin{align} \frac {\partial{h}} {\partial{x_i}} &= \frac { {\partial{\exp(x_i)} \over {\partial{x_i}}} Z - {\partial{Z} \over {\partial {x_i}}} \exp(x_i) } {Z^2} \\ &= \frac {\exp(x_i) Z - \exp^2(x_i)} {Z^2} \\ &= \frac{\exp(x_i)}{Z} - {\left(\frac{\exp(x_i)}{Z} \right)}^2 \\ &= h(x_i)- {\left( h(x_i) \right)}^2 \end{align}$$

最后的结果很优雅，写成向量形式:

$$\frac {\partial{h}} {\partial{x}} = h(x)- h^2(x) = h(x) \left( 1-h(x) \right)$$

可以发现，这个和sigmoid函数的导数计算公式相似：

$$\frac {\partial{h_{sigmoid}}} {\partial{x}} = h_{sigmoid}\left(1- h_{sigmoid} \right)$$

这也不难理解：前面已经说过，sigmoid函数视为softmax的一种特例，所以二者本来就应该有相似的形式。

推导出softmax函数的导数之后，对含有sigmoid函数的目标函数求导也就很容易了。

1. $J_1 = h$
   $$\frac {\partial{J_1}} {\partial{x}} = h(x) \left( 1-h(x) \right)$$
2. $J_2 =\frac{1}{2} h^2$
   $$\frac {\partial{J_2}} {\partial{x}} = h^2(x) \left( 1-h(x) \right)$$
3. $J_3 = h\log(h)$
   $$\frac {\partial{J_3}} {\partial{x}} = \left(1+\log{h(x)} \right) h(x) \left( 1-h(x) \right)$$
4. $J_4 = y\log(h)$
   $$\frac {\partial{J_4}} {\partial{x}} = y \left(1 - h(x)\right)$$

实际中常用的是$J_3$和$J_4$