从头理解softmax，笔记

损失函数

指数损失函数（Adaboost）

平方差损失函数：yolo

交叉熵损失函数：softmaxloss

线性分类:y=w0x0+w1x1+…+wnxn=w转置x

激活函数sigmoid函数：（作用是为了引入非线性因素，提高非线性分类能力）。

得到Logistics假设函数：，非线性二分类。

对于输入x分类结果为类别1和类别0的概率分别为:

P(y = 1 | x;θ)= hθ(x)

P(y = 0 | x;θ)= 1−hθ(x)

通过极大似然估计推导出损失函数：

Softmax是将logistics回归的二分类问题变为K分类问题，

Softmax每个类别的假设函数组成的总体假设函数：

每一个样本估计其所属的类别的概率（softmax score）为：

极大似然估计推导出损失函数：

使用梯度下降法求出最优的一组参数。

Softmax，在实际应用中，为了使算法实现更简单清楚，往往保留所有参数 ，而不任意地将某一参数设置为 0。但此时我们需要对代价函数做一个改动：加入权重衰减。权重衰减可以解决 softmax 回归的参数冗余所带来的数值问题。

损失函数为：

使用梯度下降法求出最优的一组参数。