深度学习——Softmax回归+损失函数（笔记）

一。Softmax回归

1.Softmax回归，名字是回归，其实是一个分类问题。

2.回归和分类的区别是什么？

①回归估计的是一个连续值：比如预测二手房卖出的价格

Ⅰ回归是在自然区间R单连续值的输出

Ⅱ跟真实值的区别作为损失

②分类是预测一个离散类别。比如：图片是猫还是狗

Ⅰ分类有多个输出o1,o2,o3。等于类别的个数

Ⅱ 输入的i是预测第i类的置信度

 3.介绍两个数据集

①MNIST：手写数字识别（10类）

 ②ImageNet：自然物体分类（1000类）

 4.从回归到多类分类——均分损失【无校验比例】

①对类别进行一位有效编码：独热编码。

 独热编码是一个向量，它的分量和类别一样多。 类别对应的分量设置为1，其他所有分量设置为0。 “猫”（1，0，0）、对应于“鸡”（0，1，0）、对应于“狗”（0，0，1）。

②使用均分损失训练

③找出o1,o2,o3数值最大的一个为预测值

 

 ④需要更置信的识别正确类（大余量）：真正的类和其他的类拉开距离。

 

 5.从回归到多类分类—校验比例

把softmax(o)展开，第i类的概率。

 

分子：e为底oi的指数，非负数

分母：e为底oi的指数 从第一个加到最后一个的和。

这样第的值从第1类相加最后一类，分子等于分母和为1.

 ②概率y和区别作为损失

6.交叉熵：作为概率的损失函数

 ①交叉熵衡量两个概率的区别

 ②损失函数：

 

损失函数的个人理解：输入一张照片y=(猫，狗，兔)，真实值y=(0,1,0)

预测值=（0.05，0.8，0.15）.

然后展开求和。最后只剩下-log(0.8),这就是损失值。所以，只跟正确哪一类的对应输出有关。（只关心正确类。）

③损失函数的梯度：

 

 

总结：用softmax将结果概率化，用交叉熵做损失函数。

二。损失函数:衡量真实值和预测值的区别

1.L2Loss均方损失函数

 2.L1Loss  绝对值损失函数:

L1=

 ①优点：即使当预测值跟真实值相差大，但是梯度一直是常数，权重更新的时候不会相差太大，比较稳定。

②缺点：但0点数不可导，不平滑。真实值跟预测值想接近的是时候，变得不稳定

3.Robust Loss(结合上两个的优点)

 

 

好处：真实值和预测值远的时候，梯度是常数，权重更新变得均匀。

真实值和预测值接近的时候，梯度慢慢变小，没有大幅度更新。