E
m
m
m
.
.
.
?
Emmm...?
Emmm...?
E
m
m
m
.
.
.
!
Emmm...!
Emmm...!
接
下
来
的
几
篇
博
客
,
我
们
来
聊
聊
传
说
中
的
E
M
算
法
接下来的几篇博客,我们来聊聊传说中的EM算法
接下来的几篇博客,我们来聊聊传说中的EM算法
J
e
n
s
e
n
不
等
式
将
在
之
后
的
E
M
算
法
的
证
明
中
发
挥
重
要
的
作
用
,
我
们
先
来
瞅
一
瞅
Jensen不等式将在之后的EM算法的证明中发挥重要的作用,我们先来瞅一瞅
Jensen不等式将在之后的EM算法的证明中发挥重要的作用,我们先来瞅一瞅
Jensen不等式
假
设
f
为
凸
函
数
,
X
是
一
个
随
机
变
量
假设f为凸函数,X是一个随机变量
假设f为凸函数,X是一个随机变量
则
有
则有
则有
E
[
f
(
X
)
]
≥
f
[
E
(
X
)
]
E[f(X)] \ge f[E(X)]
E[f(X)]≥f[E(X)]
进
一
步
地
,
若
f
是
严
格
凸
函
数
,
则
:
进一步地,若f是严格凸函数,则:
进一步地,若f是严格凸函数,则:
E
[
f
(
X
)
]
>
f
[
E
(
X
)
]
E[f(X)] \gt f[E(X)]
E[f(X)]>f[E(X)]
E
[
f
(
X
)
]
=
f
[
E
(
X
)
]
成
立
的
条
件
是
P
(
X
=
E
[
X
]
)
=
1
E[f(X)] = f[E(X)]成立的条件是P(X=E[X])=1
E[f(X)]=f[E(X)]成立的条件是P(X=E[X])=1
证明:
我
们
采
用
数
学
归
纳
法
:
我们采用数学归纳法:
我们采用数学归纳法:
f
(
∑
k
=
1
n
a
k
x
k
)
≤
∑
k
=
1
n
a
k
f
(
x
k
)
f\left( \sum_{k=1}^{n}a_{k}x_{k} \right) \le \sum^{n}_{k=1}a_{k}f(x_k)
f(k=1∑nakxk)≤k=1∑nakf(xk)
当
n
=
1
时
当n=1时
当n=1时
有
a
1
=
1
,
因
此
f
(
a
1
x
1
)
≤
a
1
f
(
x
1
)
显
然
成
立
有a_{1}=1,因此{\color{green}f(a_{1}x_{1})\le a_{1}f(x_1)}显然成立
有a1=1,因此f(a1x1)≤a1f(x1)显然成立
递
归
步
,
假
设
n
=
k
−
1
(
k
≥
2
)
时
不
等
式
成
立
递归步,假设n=k-1(k\ge 2)时不等式成立
递归步,假设n=k−1(k≥2)时不等式成立
有
:
有:
有:
f
(
∑
k
=
1
n
−
1
a
k
x
k
)
≤
∑
k
=
1
n
−
1
a
k
f
(
x
k
)
f\left( \sum_{k=1}^{n-1}a_{k}x_{k} \right) \le \sum^{n-1}_{k=1}a_{k}f(x_k)
f(k=1∑n−1akxk)≤k=1∑n−1akf(xk)
只
需
要
证
n
=
k
成
立
只需要证n=k成立
只需要证n=k成立
f
(
∑
k
=
1
n
a
k
x
k
)
=
f
(
a
n
x
n
+
(
1
−
a
n
)
∑
k
=
1
n
−
1
a
k
1
−
a
n
x
k
)
(
1
)
f\left( \sum_{k=1}^{n}a_{k}x_{k} \right)= f\left( a_{n}x_{n} + (1-a_{n})\sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \quad (1)
f(k=1∑nakxk)=f(anxn+(1−an)k=1∑n−11−anakxk)(1)
上
式
将
第
n
项
拎
出
,
同
时
将
(
1
−
a
n
)
提
出
来
,
仅
是
恒
等
变
换
而
已
上式将第n项拎出,同时将(1-a_n)提出来,仅是恒等变换而已
上式将第n项拎出,同时将(1−an)提出来,仅是恒等变换而已
你
问
我
为
何
要
做
此
恒
等
变
换
,
可
以
想
象
凸
函
数
的
定
义
:
你问我为何要做此恒等变换,可以想象凸函数的定义:
你问我为何要做此恒等变换,可以想象凸函数的定义:
I
是
定
义
在
凸
集
C
上
地
某
个
区
间
,
设
f
是
定
义
在
区
间
I
上
的
函
数
,
若
在
I
上
的
任
意
两
点
x
1
,
x
2
和
任
意
的
实
数
λ
∈
(
0
,
1
)
,
总
有
I是定义在凸集C上地某个区间,设f是定义在区间I上的函数,若在I上的任意两点x_{1}, x_{2}和任意的实数\lambda \in (0, 1),总有
I是定义在凸集C上地某个区间,设f是定义在区间I上的函数,若在I上的任意两点x1,x2和任意的实数λ∈(0,1),总有
f
(
λ
x
1
+
(
1
−
λ
)
x
2
)
≤
λ
f
(
x
1
)
+
(
1
−
λ
)
f
(
x
2
)
f\left (\lambda x_{1} + (1-\lambda)x_2\right ) \le \lambda f(x_1) + (1- \lambda)f(x_2)
f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2)
则
称
f
为
I
上
的
凸
函
数
,
若
将
定
义
中
的
≤
换
成
<
也
成
立
,
对
应
可
称
函
数
f
为
对
应
区
间
上
的
严
格
凸
函
数
则称f为I上的凸函数,若将定义中的\le 换成 \lt 也成立,对应可称函数f为对应区间上的严格凸函数
则称f为I上的凸函数,若将定义中的≤换成<也成立,对应可称函数f为对应区间上的严格凸函数
所 以 ( 1 ) 式 , 即 是 为 了 配 凑 λ 和 ( 1 − λ ) , 我 们 配 凑 是 有 目 的 的 , 目 的 是 为 了 将 λ 和 ( 1 − λ ) 提 出 : 所以(1)式,即是为了配凑\lambda 和 (1-\lambda),我们配凑是有目的的,目的是为了将\lambda 和 (1-\lambda)提出: 所以(1)式,即是为了配凑λ和(1−λ),我们配凑是有目的的,目的是为了将λ和(1−λ)提出:
f ( ∑ k = 1 n a k x k ) = f ( a n x n + ( 1 − a n ) ∑ k = 1 n − 1 a k 1 − a n x k ) ≤ a n f ( x n ) + ( 1 − a n ) f ( ∑ k = 1 n − 1 a k 1 − a n x k ) ( 2 ) \begin{aligned} f\left( \sum_{k=1}^{n}a_{k}x_{k} \right) &= f\left( a_{n}x_{n} + (1-a_{n})\sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \\ &\le a_{n}f\left(x_{n}\right) + (1-a_{n}) f\left( \sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \end{aligned} \quad (2) f(k=1∑nakxk)=f(anxn+(1−an)k=1∑n−11−anakxk)≤anf(xn)+(1−an)f(k=1∑n−11−anakxk)(2)
接
下
来
,
我
们
用
下
,
之
前
n
=
k
−
1
时
,
假
设
的
条
件
即
可
,
即
:
接下来,我们用下,之前n=k-1时, 假设的条件即可,即:
接下来,我们用下,之前n=k−1时,假设的条件即可,即:
f
(
∑
k
=
1
n
−
1
a
k
1
−
a
n
x
k
)
≤
∑
k
=
1
n
−
1
a
k
1
−
a
n
f
(
x
k
)
(
3
)
f\left( \sum_{k=1}^{n-1} {\color{blue}\frac{a_{k}}{1-a_n}} x_{k} \right) \le \sum^{n-1}_{k=1} {\color{blue}\frac{a_{k}}{1-a_n}} f(x_k) \quad (3)
f(k=1∑n−11−anakxk)≤k=1∑n−11−anakf(xk)(3)
将
(
3
)
带
入
(
2
)
式
中
,
并
将
公
因
式
(
1
−
a
n
)
乘
入
:
将(3)带入(2)式中,并将公因式(1-a_n)乘入:
将(3)带入(2)式中,并将公因式(1−an)乘入:
f
(
∑
k
=
1
n
a
k
x
k
)
=
f
(
a
n
x
n
+
(
1
−
a
n
)
∑
k
=
1
n
−
1
a
k
1
−
a
n
x
k
)
≤
a
n
f
(
x
n
)
+
(
1
−
a
n
)
f
(
∑
k
=
1
n
−
1
a
k
1
−
a
n
x
k
)
≤
a
n
f
(
x
n
)
+
(
1
−
a
n
)
∑
k
=
1
n
−
1
a
k
1
−
a
n
f
(
x
k
)
≤
a
n
f
(
x
n
)
+
∑
k
=
1
n
−
1
a
k
f
(
x
k
)
≤
∑
k
=
1
n
a
k
f
(
x
k
)
\begin{aligned} f\left( \sum_{k=1}^{n}a_{k}x_{k} \right) &= f\left( a_{n}x_{n} + (1-a_{n})\sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \\ &\le a_{n}f\left(x_{n}\right) + (1-a_{n}) f\left( \sum_{k=1}^{n-1}\frac{a_{k}}{1-a_{n}}x_{k} \right) \\ &\le a_{n}f\left(x_{n}\right) + (1-a_{n}) \sum^{n-1}_{k=1} {\color{blue}\frac{a_{k}}{1-a_n}} f(x_k)\\ &\le a_{n}f\left(x_{n}\right) + \sum^{n-1}_{k=1} a_{k} f(x_k)\\ &\le \sum^{n}_{k=1}a_{k}f(x_k) \end{aligned}
f(k=1∑nakxk)=f(anxn+(1−an)k=1∑n−11−anakxk)≤anf(xn)+(1−an)f(k=1∑n−11−anakxk)≤anf(xn)+(1−an)k=1∑n−11−anakf(xk)≤anf(xn)+k=1∑n−1akf(xk)≤k=1∑nakf(xk)
所
以
,
n
=
k
(
k
≥
2
)
时
,
不
等
式
也
成
立
所以,n=k(k\ge 2)时,不等式也成立
所以,n=k(k≥2)时,不等式也成立
证毕