首先,让我们定义一些符号:
p
data
(
x
)
p_{\text{data}}(x)
pdata(x):真实数据的概率分布
p
model
(
x
;
θ
)
p_{\text{model}}(x; \theta)
pmodel(x;θ):由参数
θ
\theta
θ 确定的模型的概率分布
D
\mathcal{D}
D:从真实数据分布中抽取的数据集
我们的目标是找到一组参数
θ
\theta
θ,使得
p
model
(
x
;
θ
)
p_{\text{model}}(x; \theta)
pmodel(x;θ) 尽可能地接近
p
data
(
x
)
p_{\text{data}}(x)
pdata(x)。使用负对数似然函数和 KL 散度作为度量,我们可以分别定义这两个目标。
最小化负对数似然函数:
θ
∗
=
argmin
θ
;
L
(
θ
)
=
argmin
θ
;
−
∑
x
∈
D
log
p
model
(
x
;
θ
)
\theta^* = \underset{\theta}{\operatorname{argmin}}; L(\theta) = \underset{\theta}{\operatorname{argmin}}; - \sum_{x \in \mathcal{D}} \log p_{\text{model}}(x; \theta)
θ∗=θargmin;L(θ)=θargmin;−x∈D∑logpmodel(x;θ)
最小化 KL 散度:
θ
∗
=
argmin
θ
;
D
KL
(
p
data
∣
p
model
)
=
argmin
θ
;
∑
x
p
data
(
x
)
log
p
data
(
x
)
p
model
(
x
;
θ
)
\theta^* = \underset{\theta}{\operatorname{argmin}}; D_{\text{KL}}(p_{\text{data}}|p_{\text{model}}) = \underset{\theta}{\operatorname{argmin}}; \sum_{x} p_{\text{data}}(x) \log \frac{p_{\text{data}}(x)}{p_{\text{model}}(x; \theta)}
θ∗=θargmin;DKL(pdata∣pmodel)=θargmin;x∑pdata(x)logpmodel(x;θ)pdata(x)
现在,让我们证明最小化负对数似然函数的学习策略等价于最小化 KL 散度的学习策略。首先我们将 KL 散度的表达式进行分解:
D KL ( p data ∣ p model ) = ∑ x p data ( x ) log p data ( x ) − ∑ x p data ( x ) log p model ( x ; θ ) D_{\text{KL}}(p_{\text{data}}|p_{\text{model}}) = \sum_{x} p_{\text{data}}(x) \log p_{\text{data}}(x) - \sum_{x} p_{\text{data}}(x) \log p_{\text{model}}(x; \theta) DKL(pdata∣pmodel)=x∑pdata(x)logpdata(x)−x∑pdata(x)logpmodel(x;θ)
我们注意到第一项是关于 θ \theta θ 的常数项,因为它仅与真实数据分布有关。因此,在最小化 KL 散度时,我们只关心第二项:
argmin θ ; D KL ( p data ∣ p model ) = argmin θ ; − ∑ x p data ( x ) log p model ( x ; θ ) \underset{\theta}{\operatorname{argmin}}; D_{\text{KL}}(p_{\text{data}}|p_{\text{model}}) = \underset{\theta}{\operatorname{argmin}}; - \sum_{x} p_{\text{data}}(x) \log p_{\text{model}}(x; \theta) θargmin;DKL(pdata∣pmodel)=θargmin;−x∑pdata(x)logpmodel(x;θ)
我们知道无法直接获取真实数据的概率分布 p data ( x ) p_{\text{data}}(x) pdata(x),但可以通过数据集 D \mathcal{D} D 进行估计。假设数据集中有 N N N 个独立同分布的样本,我们可以将上式改写为:
argmin θ ; − 1 N ∑ x ∈ D log p model ( x ; θ ) \underset{\theta}{\operatorname{argmin}}; - \frac{1}{N} \sum_{x \in \mathcal{D}} \log p_{\text{model}}(x; \theta) θargmin;−N1x∈D∑logpmodel(x;θ)
并且,在大样本极限下( lim N → ∞ \lim_{N \to \infty} limN→∞),这个表达式就变成了负对数似然函数:
argmin θ ; − ∑ x ∈ D log p model ( x ; θ ) \underset{\theta}{\operatorname{argmin}}; - \sum_{x \in \mathcal{D}} \log p_{\text{model}}(x; \theta) θargmin;−x∈D∑logpmodel(x;θ)
因此,我们证明了在大样本极限下,最小化负对数似然函数的学习策略等价于最小化 KL 散度的学习策略。