交叉熵、KL散度、极大似然和对数似然

前言：

      本文整理自https://www.cnblogs.com/silent-stranger/p/7987708.html，感谢MaHaLo的渊博知识。

1.介绍：

      当我们开发一个分类模型的时候，我们的目标是把输入映射到预测的概率上，当我们训练模型的时候就不停地调整参数使得我们预测出来的概率和真实的概率更加接近。

      这篇文章我们关注在我们的模型假设这些类都是明确区分的，假设我们是开发一个二分类模型，那么对应于一个输入数据，我们将他标记为要么绝对是正，要么绝对是负。比如，我们输入的是一张图片，来判断这张图片是苹果还是梨子。

      在训练过程中，我们可能输入了一张图片表示的是苹果，那么对于这张输入图片的真实概率分布为yi=(苹果：1，梨子：0)，但是我们的模型可能预测出来的是另一种概率分布yi^(苹果：0.4，梨子：0.6)，然后我们发现了在这张输入图片上的真实概率分布和预测出来的概率分布差别很大，所以我们要调整参数，来使得这两个分布更加接近。

      但是我们怎么定义这个接近呢？也就是我们如何去衡量预测概率分布yi^和真实概率分布yi的接近程度？