二元交叉熵的基本概念

查看相应论文的时候，提及了二元交叉熵进行优化改进
此文针对该知识点查漏补缺

二元交叉熵为损失函数，主要应用于二分类问题中

具体公式如下：

本身为二分类问题，y_i代表真实的标签纸，如果y_i代表标签0，那么（1 - y_i）则代表标签1。log(p(y_i))为预测的标签值。对应公式为标签值乘以改标签的概率值

特性如下：

• y_i标签为1，p（y）概率趋近1，则整体的损失函数值为0
  y_i标签为0，p（y）概率趋近0，则整体的损失函数值为0
  

• y_i标签为1，p（y）概率趋近0，则整体的损失函数值为正无穷
  y_i标签为0，p（y）概率趋近1，则整体的损失函数值为正无穷
  

通过上面的概率以及图像可得知，当预测标签和真实标签接近的时候，损失函数越接近
反之如果两者越来越偏差，则数字会越来越大，如果两者直接对立，则损失趋近正无穷。当两者的标签值损失很大的时候，有利用模型的学习

如果想看更加详细的数学推导可看这篇文章：简单的交叉熵损失函数，你真的懂了吗？