沐神深度学习笔记7

回归与分类：

回归：估计一个连续值，比如：之前的房价。

          单连续数值输出，输出区间为自然区间，与真实值的区别作为损失。

分类：预测一个离散类别，比如：这个是不是手写的。

          通常多个输出，输出i是预测为第i类的置信度。

首先对类别编码：

可以使用one-hot编码：y=[y1,y2,.....,yn]T

       yi = 1(if i = y）or 0（otherwise）

要让oy - oi的值远大于某个阈值。（对正确类y的置信度远大于其他非正确类i的置信度）

softmax是新的操作子，作用在o上，得到了新的y_hat,其中，y_hat有我们的目标：向量中所有元素非负并且所有元素和为1.

具体操作：ŷ i = exp(Oi) /  k  exp(Ok)

exp是求指数，可以令ŷ 值全为正，同时除以k个exp和，可以保证和为1，这样之后ŷ 为一个概率。

通过比较y（真实概率）和ŷ （softmax）的区别作为损失，真实概率即：p = 1 else p = 0，p表示正确分类。

利用交叉熵来衡量两个概率的区别：

 

 

将其作为损失;

在y的概率中，只有在预测正确时，y为1，其他为0，说明我们只要求正确类的预测成功率要高，其他类不在考虑范围内。

其梯度：