机器学习系列之（三） softmax回归

前言

很多人都把softmax回归当做logistic回归的扩展形式，但是在我看来，这两个回归方式的差异还是很大的，差异如下：

1. 逻辑回归针对的数据是符合二项分布的数据，而softmax回归针对的是符合多项分布的数据。
2. 逻辑回归对线性组合后的数据进行非线性转化的时候采用的是logistic函数，将原始数据映射为（0-1）之间的数字，而softmax回归采用的是softmax函数，他通过与类别数相等的参数组数来进行原始数据的映射。
3. 针对损失函数，除了使用了相同的极大似然函数外，其他共同点也不多。

假设函数

softmax解决的是多分类问题，即训练集中的每个样本的标签都是以下集合中的一个{1,2,3…k}（假设一共有k个类别），那么对于新的样本来说，就要计算出这个样本属于这里面k个类别分别的概率，那么假设函数形式如下：（这里下面的公式有问题，右边的列向量中的每一项应该都是以e为底的）

这个函数第一眼看上去非常难以理解，下面就详细地解释一下这个假设函数：

代表参数与特征向量的乘积加上偏置。要把这部分看做一个整体，那么这个假设函数就好理解多了，而且这是一些具体的实数，例如[3,1,-3],经过以e为底的指数操作后，变成了[20,2.7,0.05],那么这一项就是20+2.7+0.05=22.75,所以假设函数就变成了[0.88,0.12,0]。
那么我们现在的目的就变成了找到合适的w,b值，使假设函数算出来的这个向量[ ]与训练集中每个样本算出来的样本的差距最小。