Softmax Regression 算法简介

概述

对于一个简单的二分类问题，一般采用逻辑回归算法进行处理，但是在实际应用中会遇到很多多分类问题，此时逻辑回归就没有办法很适用了。下面介绍基于逻辑回归延伸出的Softmax Regression 算法，该算法可以有效处理简单的多分类问题。

模型介绍

Softmax Regression 算法是基于最大熵模型推导出来的。最大熵的原理认为，在所有可能的概率模型中，熵最大的模型就是最好的模型。假设离散随机变量X的概率分布是P(X)，那么它的熵就可以表示为：
$$H(P)=-\sum _{x}p(x)logp(x)$$
基于这个假设经过一系列地推导得到概率模型函数：
$$p(y^{(i)}=j|X^{(i)};W)=\frac{exp(W_j^T{X}^{(i)})}{{\sum }_k^{l=1}exp(W_l^T{X}^{(i)})}$$

代价函数介绍

类似逻辑回归，Softmax Regression 的代价函数可以表示为交叉损失函数：
$$J(W)=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{j=1}^{k}I(y^i=j)log\frac{exp(W_j^T{X}^{(i)})}{{\sum }_k^{l=1}exp(W_l^T{X}^{(i)})}\right]$$
其中$I(y^i=j)$为标记函数，判断正确为1，判断错误为0。
有了代价函数就可以采用梯度下降法进行求解了。

总结

Softmax Regression是逻辑回归在多分类问题上的推广，有和逻辑回归类型的性质。此外Softmax函数也是神经网络中常有的激活函数。
内容参考了《Python 机器学习算法》