本文为博主“声时刻”原创文章，未经博主允许不得转载。
联系方式：shenshikexmu@163.com
PRML公式（1.118）是关于Kullback-Leibler散度恒大于等于 0
(1.118)
K
L
(
p
∣
∣
q
)
=
−
∫
p
(
x
)
l
n
{
q
(
x
)
p
(
x
)
}
d
x
≥
−
l
n
∫
q
(
x
)
d
x
=
0
KL(p||q)=-\int p(x)ln \bigg \{ \frac{q(x)}{p(x)} \bigg \} dx \geq -ln \int q(x)dx=0 \tag{1.118}
KL(p∣∣q)=−∫p(x)ln{p(x)q(x)}dx≥−ln∫q(x)dx=0(1.118)
书上说可以用公式（1.117）得到（1.118）的结果。
(1.117)
f
(
∫
x
p
(
x
)
d
x
)
≤
∫
f
(
x
)
p
(
x
)
d
x
f \bigg ( \int xp(x)dx \bigg ) \leq \int f(x)p(x)dx \tag{1.117}
f(∫xp(x)dx)≤∫f(x)p(x)dx(1.117)
我自己怎么推也推不过去。公式（1.116）看上去可以借鉴。
(1.116)
f
(
E
[
x
]
)
≤
E
[
f
(
x
)
]
f(E[x]) \leq E[f(x)] \tag{1.116}
f(E[x])≤E[f(x)](1.116)
如果把
f
(
)
f()
f() 换成
−
l
n
(
)
-ln()
−ln() , 把
x
x
x 换成
q
(
x
)
p
(
x
)
\frac{q(x)}{p(x)}
p(x)q(x) 好像可以得到（1.118）的结果。但积分中
d
x
dx
dx 中的
x
x
x 怎样处理呢？
谷歌发现 More PRML Rrrata ，在第7页中给出了Jensen’s inequality in terms of random variables（含隐随机变量的Jensen不等式）。
(21)
f
(
E
z
[
ξ
(
z
)
]
)
≤
E
z
[
f
(
ξ
(
z
)
)
]
f(E_z[\xi(z)]) \leq E_z[f(\xi(z))] \tag{21}
f(Ez[ξ(z)])≤Ez[f(ξ(z))](21)
(21) 比 (1.116)具有更广的通用性（giving a result slightly more general than (1.116)）。
把 f ( ) f() f() 换成 − l n ( ) -ln() −ln() , 把 ξ ( z ) \xi(z) ξ(z) 换成 q ( x ) p ( x ) \frac{q(x)}{p(x)} p(x)q(x) 带入 (21) 就可以得到(1.118) 的结果。
(A) E x [ f ( ξ ( x ) ) ] ≥ f ( E x [ ξ ( x ) ] ) E x [ − l n ( q ( x ) p ( x ) ) ] ≥ − l n ( E x [ q ( x ) p ( x ) ] ) − ∫ l n { q ( x ) p ( x ) } p ( x ) d x ≥ − l n ∫ q ( x ) p ( x ) p ( x ) d x − ∫ p ( x ) l n { q ( x ) p ( x ) } d x ≥ − l n ∫ q ( x ) d x = 0 K L ( p ∣ ∣ q ) ≥ 0 E_x[f(\xi(x))]\geq f(E_x[\xi(x)]) \\ \quad \\ E_x[-ln(\frac{q(x)}{p(x)})] \geq -ln(E_x[\frac{q(x)}{p(x)}]) \\ \quad \\ -\int ln \bigg \{ \frac{q(x)}{p(x)} \bigg \} p(x)dx \geq -ln \int \frac{q(x)}{p(x)}p(x)dx \\ \quad \\ -\int p(x) ln\bigg \{ \frac{q(x)}{p(x)} \bigg \} dx \geq -ln \int q(x)dx=0 \\ \quad \\ KL(p||q) \geq 0 \tag{A} Ex[f(ξ(x))]≥f(Ex[ξ(x)])Ex[−ln(p(x)q(x))]≥−ln(Ex[p(x)q(x)])−∫ln{p(x)q(x)}p(x)dx≥−ln∫p(x)q(x)p(x)dx−∫p(x)ln{p(x)q(x)}dx≥−ln∫q(x)dx=0KL(p∣∣q)≥0(A)
More PRML Rrrata 给出了图像方式的“证明”。
890
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
