深度学习之Softmax回归

Softmax虽然是回归但本质是一个多分类

回归 vs. 分类

        回归（估计一个连续值）

• 单连续数值输出
• 自然区间R
• 跟真实的区别作为损失

        分类（预测一个离散类别）

• 通常多个输出
• 输出i是预测为第i类的置信度

从回归到多分类

        均方损失

• 对类别进行一位有效编码（one-hot编码）

        例如：类别有0，1，2；编码则是0 == 100，1 == 010， 2 == 001

        

•  使用均方损失训练
• 最大值作为预测（类别中置信度最高的）

• 需要更置信的识别正确类（大余量）

正确类别的置信度要远远大于其它类别的置信度

•  输出匹配概率（非负，和为1）

低为e的指数实现了非负，

• 概率y和的区别作为损失
  • 衡量区别

损失函数

        均方损失

        绝对值损失函数

Huber's Robust loss