交叉熵损失函数

目录

1交叉熵损失函数（Cross Entropy loss）：

1.1交叉熵损失函数公式：

1.2交叉熵损失函数推导过程：

1.3 交叉熵损失函数的特殊值

 

---

1交叉熵损失函数（Cross Entropy loss）：

1.1交叉熵损失函数公式：

y是真实的标签值(正类值为1，负类值为0)，y`是预测的概率值（y·∈(0,1)）.它表征真实样本标签和预测概率之间的差值.

1.2交叉熵损失函数推导过程：

举个二分类例子，要么有打球，要么没有打球.假设打球的标签值为1，没打球的标签值为0：

假如甲喜欢打篮球，他天天打篮球，建立一个预测模型。预测模型预测他今天打篮球的概率为0.8，实际上他今天打篮球了。那么真实值就是1.那么他的交叉熵损失函数值就是0.22.

计算公式为：loss1 = -[1*ln0.8+(1-1)*ln(1-0.8)] = 0.22

假如乙也喜欢打篮球，预测模型预测他今天打篮球的概率是0.7，实际上他今天没有打球。那么真实值就是0，那么他的交叉熵损失函数值就是1.2.

计算公式为：loss2 = -[0*ln0.7+(1-0)*ln0.3)] = 1.2

总结：损失值函数更小，反向传播的力度也就更小。损失值函数更大，反向传播的力度也就更大.

1.3 交叉熵损失函数的特殊值

我们从图像的角度，分析交叉熵函数。

首先，写出单个样本的交叉熵损失函数：

我们知道，当y=1时；

L=  -logy`

这时候，L与预测输出的关系如下图所示：

 

看了L的图形，横坐标是预测输出，纵坐标是交叉熵损失函数L.显然，预测输出越接近真实样本标签 1，损失函数 L 越小；预测输出越接近 0，L 越大。因此，函数的变化趋势完全符合实际需要的情况。

当y=0时：

L= -log(1-y')

这时候，L与预测输出的关系如下图所示：

同样，预测输出越接近真实样本标签 0，损失函数 L 越小；预测函数越接近 1，L 越大。函数的变化趋势也完全符合实际需要的情况。

从上面两种图，可以帮助我们对交叉熵损失函数有更直观的理解。无论真实样本标签 y 是 0 还是 1，L 都表征了预测输出与 y 的差距。

另外，重点提一点的是，从图形中我们可以发现：预测输出与 y 差得越多，L 的值越大，也就是说对当前模型的 “ 惩罚 ” 越大，而且是非线性增大，

是一种类似指数增长的级别。这是由 log 函数本身的特性所决定的。这样的好处是模型会倾向于让预测输出更接近真实样本标签 y。

总结：交叉熵函数是针对二分类问题比较实用，在预测模型里面，交叉熵函数越小，说明预测准确度越高，相反，则预测准确度越低。

下一步需要了解均方误差损失函数.

参考：

1.https://juejin.cn/post/6844903622233292813