最大似然估计_交叉熵和最大似然估计

我们正在努力训练神经网络模型进行分类。我们设计网络深度，激活函数，设置所有超参数，然后选择损失函数。正如我们所说的，我们使用交叉熵损失函数，因为它适合于分类。

熵是随机变量不确定性的变量。如果我们有一个随机变量X，我们有概率质量函数p(X)= PR [ X = x ]，我们定义随机变量X的熵为H(X)

现在，我们怎样才能知道这个值H(X)对应X的不确定性？如果有一个x的概率为1。如果我们把它放在等式(1)中，我们得到

第二行中的第一项等于0乘以log(1)和第二项等于0乘以p(x_hat)因为p(x)的和应该是1。注意，我们使用0 log 0 = 0 ，x log x→0 =>x→0。因此，如果我们非常确定随机变量将有一个值，则意味着不确定性将非常低。这个概念在在Bernoulli分布中H(p)vs p的图中得到了很好的体现。

H( p)vs p

如果我们仔细研究随机变量熵的定义，我们可以会发现熵与随机变量的期望有关，我们可以写成：

所以随机变量的熵是随机变量log(1 / p(x))的期望值，其中X是从p(x)中得到的。注意，我们也可以用H(p)表示熵。

现在假设我们有一个未知的真实分布p(x)，我们已经建立了一个近似分布q(x)的模型，假设真实分布是q(x)，而不是p(x)的低效性可以用相对熵或Kullback-Leibler距离来测量。换句话说，相对熵是两个分布之间距离的度量。相对熵D(p||q)定义为

如果我们扩展log(p(x)/ q(x))，我们可以得到

右边的第二项是分布p(x)的熵，右边的第一项是交叉熵。我们可以看到交叉熵与相对熵密切相关，我们可以定义交叉熵，表示为H(p，q)为

这就是交叉熵，现在它是如何与模型损失相适应？

我们需要重新理解机器学习的一个核心原则，即最大似然估计(MLE)。假设对于一个问题，我们有一组示例Xexample = { x_1，x _2，...，x _m}，它们独立于真实但未知的分布pdata(x)绘制。然后我们以θ为参数并尝试用参数模型pmodel(x ;θ)模拟真实分布。我们可以说pmodel(x，θ)映射x以估计给定相同数据的真实但未知的pdata(x)。为了得到最好的模型，我们需要找到这样的θ即生成与pmodel(X，θ)最相似的结果pdata(x)。我们可以使用MLE原理来找到这样的θ，即通过对使用最大似然估计，其定义为

由于Xexample中的每个示例xi彼此独立，因此我们可以将θML写为

p_model的乘积(Xi;θ)将是非常接近0时的示例集大小m是大概率的范围将在0≤pmodel的范围(Xi;θ)≤1。这可能导致计算机严重低溢，导致模型估计不精确。避免这个问题的一种方法是交替计算pmodel(xi;θ)的对数之和。

这解决了低溢问题，因为概率的对数将变为负值而不是像1e-30那样的某个数字。我们还将乘积转换为总和，从而实现更易于管理的计算。由于arg max将是相同的，因此等式9将产生与等式8相同的参数θML，同时具有上述优点。现在，由于当我们缩放对数概率时arg max也没有改变，我们可以写成

并且仍然产生与等式8和9相同的θML。

公式10显示了交叉熵与最大似然估计原理的关系，即如果我们将pexample(x)作为p(x)而pmodel(x ;θ)作为q(x)，我们可以将公式10写为

我们熟悉方程的最后一项，因为它是等式6中定义的交叉熵。这表明我们可以看到使用最大似然估计获得最佳参数θML的问题，因为我们的参数模型之间的交叉熵最小化pmodel(x ;θ)和实证实例分布pexample(x)。

该思维过程表明，通过最小化交叉熵损失来训练我们的模型是明智的，因为它可以引导我们根据训练示例产生最佳模型的参数θML的最大似然估计。