EM算法
凸函数
如果f可微，
一阶导
二阶导半正定
Jensen 不等式
推导，归纳法
当N=1时，显然成立
N=2时，由凸函数定义,
f
(
λ
1
x
1
+
λ
2
x
2
)
≤
λ
1
f
(
x
1
)
+
λ
2
f
(
x
2
)
f(\lambda_1x_1 + \lambda_2x_2) \leq \lambda_1f(x_1) + \lambda_2f(x_2)
f(λ1x1+λ2x2)≤λ1f(x1)+λ2f(x2)
当N >= 3时，假设当N=k-1时成立
f
(
∑
i
=
1
k
−
1
λ
i
x
i
)
≤
∑
i
=
1
k
−
1
λ
i
f
(
x
i
)
f(\sum_{i=1}^{k-1}\lambda_ix_i) \leq \sum_{i=1}^{k-1}\lambda_if(x_i)
f(i=1∑k−1λixi)≤i=1∑k−1λif(xi)
当N = k时，
从Jensen不等式中推导概率
如果$在S上，p(x)\geq 0，且S\ dom f $
那么假设X是随机变量，P是样本空间S中概率分布，那么
如果X是常量，那么上式中的等号就成立。
假设 f 是凸函数
那转换成概率形式
EM算法 Expactation-Maximization
给定一个训练集 { x ( 1 ) , x ( 2 ) , x ( 3 ) , . . . , x ( m ) } \{x^{(1)}, x^{(2)},x^{(3)},...,x^{(m)}\} {x(1),x(2),x(3),...,x(m)}（这个训练集是没有lables的）
3238
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
