极大似然估计和最小化交叉熵损失（KL散度）

先说结论：极大似然估计和最小化交叉熵损失（KL散度）完全等价
我们从无标签和有标签两个角度来证明这个结论。

1.无标签样本

1.1.数据集

假设我们的数据集为 D = { x 1 , x 2 , ⋯   , x N } \mathcal{D}=\{x_1,x_2,\cdots,x_N\} D={x1​,x2​,⋯,xN​}，每个数据为$x_i=\left[\begin{array}{c}{x}_i^1\\ x_i^2\\ \cdots \\ x_i^p\end{array}\right]$的$p$维列向量。假设数据真实的概率分布为$p(x)$。我们用最大似然估计来计算数据的近似分布$q(x|\theta )$

1.2.公式推导

极大似然估计如下：
$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}q(x|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\prod _{i=1}^{N}q(x_i|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log q(x_i|\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(x_i|\theta )\end{array}\text{\hspace{1em}(1)}$$已知大数定理，若$X$服从某一分布$p(x)$，对$X$依分布$p(x)$采样$n$次，当$n$充分大的时候，$\frac{1}{n}{\sum }_{i=1}^n{x}_i$依概率收敛$E_{x\sim p(x)}[X]$。
所以(1)可转换为$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(x_i|\theta )\\ & \approx \underset{\theta }{\mathrm{argmax}}{E}_{x\sim p(x)}[\log q(x|\theta )]\\ & =\underset{\theta }{\mathrm{argmax}}\int p(x)\log q(x|\theta )dx\\ & =\underset{\theta }{\mathrm{argmin}}\int -p(x)\log q(x|\theta )dx\\ & =\underset{\theta }{\mathrm{argmin}}\int p(x)\log \frac{1}{q(x|\theta )}dx\\ & =\underset{\theta }{\mathrm{argmin}}\int p(x)\log \frac{p(x)}{q(x|\theta )}dx\\ & =\underset{\theta }{\mathrm{argmin}}KL(p(x)||q(x|\theta ))\end{array}\text{\hspace{1em}(2)}$$由(1)(2)可知最大似然和最小化$KL$散度等价。

2.有标签样本

2.1.数据集

有标签样本的数据集和我之前写过的线性回归数据集在形式上是一样的： D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \mathcal{D}=\{(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_N)\} D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}每个数据为$x_i=\left[\begin{array}{c}{x}_i^1\\ x_i^2\\ \cdots \\ x_i^p\end{array}\right]$的$p$维列向量，对应一个标量$y_i$。

2.2.公式推导

$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}q(Y|X,\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\prod _{i=1}^{N}q(y_i|x_i,\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log q(y_i|x_i,\theta )\\ & =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(y_i|x_i,\theta )\end{array}\text{\hspace{1em}(3)}$$
(3)由大数定理转化为：
$$\begin{array}{rl}& \theta =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log q(y_i|x_i,\theta )\\ & \approx \underset{\theta }{\mathrm{argmax}}{E}_{x,y\sim p(x,y)}[\log q(y|x,\theta )]\\ & =\underset{\theta }{\mathrm{argmax}}\int \int p(x,y)\log q(y|x,\theta )dxdy\\ & =\underset{\theta }{\mathrm{argmax}}\int \int p(y|x)p(x)\log q(y|x,\theta )dxdy\\ & =\underset{\theta }{\mathrm{argmax}}\int p(x)[\int p(y|x)\log q(y|x,\theta )dy]dx\\ & \approx \underset{\theta }{\mathrm{argmax}}{E}_{x\sim p(x)}[\int p(y|x)\log q(y|x,\theta )dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[\int -p(y|x)\log q(y|x,\theta )dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[\int p(y|x)\frac{1}{\log q(y|x,\theta )}dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[\int p(y|x)\frac{p(y|x)}{\log q(y|x,\theta )}dy]\\ & =\underset{\theta }{\mathrm{argmin}}{E}_{x\sim p(x)}[KL(p(y|x)||q(y|x,\theta ))]\end{array}\text{\hspace{1em}(4)}$$由于我们是对条件概率$q(y|x)$进行建模，因此极大似然估计也等同于最小化KL散度等价。

3.参考

https://zhuanlan.zhihu.com/p/84764177