神经网络和softmax原理_soft max回归知识点总结

soft max是一个多分类算法，可以理解为逻辑回归的一般情况。

推导思路为：首先证明多项分布属于指数分布族，这样就可以使用广义线性模型来拟合这个多项分布，由广义线性模型推导出的目标函数即为Softmax回归的分类模型。

对于输入的数据有K个类别，那么soft max回归主要估算输入数据x_i归属于每一类的概率。

其中θ是模型的参数，乘以后者是为了让概率位于[0,1]并且概率之和为1，softmax 回归将输入数据x_i归属于类别j的概率为

原理

和逻辑回归差不多，也是对代价函数求偏导，利用梯度下降法最小化代价函数。

模型的思路

将预测结果转化为非负数

我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。

各种预测结果概率之和等于1

为了确保各个预测结果的概率之和等于1。我们只需要将转换后的结果进行归一化处理。方法就是将转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比。这样就得到近似的概率。各种预测结果概率之和等于1

soft max回归可以看作是一种条件最大熵模型。对于多分类问题，soft max回归预测的是属于每个类别的条件概率。

soft max用交叉熵函数作为风险经验函数。然后soft max回归相当于没有隐含层的神经网络。交叉熵损失函数和sigmod函数࿰