soft max回归原理

soft max是一个多分类算法，可以理解为逻辑回归的一般情况。

推导思路为：首先证明多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数即为Softmax回归的分类模型。

对于输入的数据有K个类别，那么soft max回归主要估算输入数据x_i归属于每一类的概率。

其中θ是模型的参数，乘以后者是为了让概率位于[0,1]并且概率之和为1，softmax 回归将输入数据x_i归属于类别j的概率为

原理

和逻辑回归差不多，也是对代价函数求偏导，利用梯度下降法最小化代价函数。

模型的思路

将预测结果转化为非负数

我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。

各种预测结果概率之和等于1

为了确保各个预测结果的概率之和等于1。我们只需要将转换后的结果进行归一化处理。方法就是将转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比。这样就得到近似的概率。各种预测结果概率之和等于1

soft max回归可以看作是一种条件最大熵模型。对于多分类问题，soft max回归预测的是属于每个类别的条件概率。

soft max用交叉熵函数作为风险经验函数。然后soft max回归相当于没有隐含层的神经网络。交叉熵损失函数和sigmod函数，soft max函数配合使用效果更好。

要注意的是，Softmax回归中使用的C 个权重向量是冗余的，即对所有的 权重向量都减去一个同样的向量v，不改变其输出结果。因此，Softmax 回归往往需要使用正则化来约束其参数。此外，我们还可以利用这个特性来避免计算softmax函数时在数值计算上溢出问题。

Softmax 回归 vs. k 个二元分类器

知道“one vs all”的都知道对于K元分类而言，可以训练K个二元分类器来实现K元分类，那么究竟何时该使用softmax回归，何时使用K个二元分类器呢，ng给出的标准是这样的：

如果你的数据集的K个类别是相互独立互斥的，比如手写体识别1-10，样本只能有一个类别，某一样本不可能既属于1又属于2。那么就用softmax回归

如果你的数据集的K个类别不是互斥的，比如音乐类型分类（考虑四个类别：人声音乐、舞曲、影视原声、流行歌曲），这些某类别不是互斥的，例如：一首歌曲可以来源于影视原声，同时也包含人声 。这种情况下，使用4个二分类的 logistic 回归分类器更为合适。这样，对于每个新的音乐作品 ，我们的算法可以分别判断它是否属于各个类别。