Softmax回归

一、Softmax回归

softmax 回归是一种做多分类的算法，softmax 回归是假设多项分布的，多项分布可以理解为二项分布的扩展

二、Softmax公式的推导

1、Softmax回归是假设数据服从多项式分布

2、假设多项式分布式是广义线性回归模型的指数分布族一种

3、多项式分布目标值yε{1,2,3,...,k}；（其中是类别种数）其概率分布为：

4、多项式分布的概率密度函数为：

注意：定义示性函数l{bool式子}1{bool式子}，当bool式子为真，示性函数为1，反之为0.

 5、多项分布转变为指数分布族的推导

 

 以上推导既是说明多项分布是指数族分布，于是：

6、于是得到了softmax回归的公式 

θ可以写在一个矩阵里面

三、逻辑回归和 Softmax 回归

逻辑回归可以看成是 Softmax 回归的特例，就是 k=2 时候的 softmax 回归，因为当
我们把 softmax 回归公式 k=2 带入的话

此时，softmax 回归就是参数为θ2-θ1 的逻辑回归！
同样，k=2 时 softmax 回归的损失函数就是逻辑回归的损失函数！ 

四、Softmax回归的损失函数

交叉熵损失函数