soft max是一个多分类算法,可以理解为逻辑回归的一般情况。
推导思路为:首先证明多项分布属于指数分布族,这样就可以使用广义线性模型来拟合这个多项分布,由广义线性模型推导出的目标函数即为Softmax回归的分类模型。
对于输入的数据有K个类别,那么soft max回归主要估算输入数据x_i归属于每一类的概率。
其中θ是模型的参数,乘以后者是为了让概率位于[0,1]并且概率之和为1,softmax 回归将输入数据x_i归属于类别j的概率为
原理
和逻辑回归差不多,也是对代价函数求偏导,利用梯度下降法最小化代价函数。
模型的思路
将预测结果转化为非负数
我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上,这样保证了概率的非负性。
各种预测结果概率之和等于1
为了确保各个预测结果的概率之和等于1。我们只需要将转换后的结果进行归一化处理。方法就是将转化后的结果除以所有转化后结果之和,可以理解为转化后结果占总数的百分比。这样就得到近似的概率。各种预测结果概率之和等于1
soft max回归可以看作是一种条件最大熵模型。对于多分类问题,soft max回归预测的是属于每个类别的条件概率。
soft max用交叉熵函数作为风险经验函数。然后soft max回归相当于没有隐含层的神经网络。交叉熵损失函数和sigmod函数