深度学习-Softmax回归

Softmax回归虽然叫做回归，但其实是一种分类。

使用Softmax操作自得到每个类的预测置信度。

回归与分类：

回归估计一个连续值

分类预测一个离散类别

怎么从回归过渡到分类？

无校验比例：

 

校验比例： 

 

 Softmax与交叉熵损失：（衡量预测和标号的区别）

 

损失函数：

下列图中，蓝色表示真实值y取0时的函数图像；

绿色是对应的似然函数

橙色是损失函数的梯度 

第一种：均方损失函数

似然函数为一个高斯分布。 

 

第二种： 

第三种：Huber's Robust Loss(对前两种的综合)

 

Softmax从零开始实现： 

 

 

 

 

 

Softmax的简洁实现：