1. Jensen 不等式
Jensen 不等式的意义是:函数的期望大于等于期望的函数(该函数必须是凸函数,若为凹函数,则相反),即
E
(
f
(
x
)
)
≥
f
(
E
(
x
)
)
E(f(x))\geq f(E(x))
E(f(x))≥f(E(x))
或者写成凸函数条件表达式的形式,在这个表达式式中,
t
t
t 相当于
x
1
x_1
x1 的概率,
(
1
−
t
)
(1-t)
(1−t) 相当于
x
2
x_2
x2 的概率:
t
f
(
x
1
)
+
(
1
−
t
)
f
(
x
2
)
≥
f
(
t
x
1
+
(
1
−
t
)
x
2
)
t
∈
{
0
,
1
}
tf(x_1)+(1-t)f(x_2)\geq f(tx_1+(1-t)x_2)\quad t\in\{0,1\}
tf(x1)+(1−t)f(x2)≥f(tx1+(1−t)x2)t∈{0,1}
2. 条件期望
条件期望的表达式,若 X, Y 是两个变量:
E
(
X
∣
Y
=
y
)
=
∫
x
f
X
∣
Y
(
x
∣
y
)
d
x
=
∫
x
f
(
x
,
y
)
f
(
y
)
d
x
E(X\mid Y=y) = \int xf_{X|Y}(x\mid y)dx=\int \frac{xf(x,y)}{f(y)}dx
E(X∣Y=y)=∫xfX∣Y(x∣y)dx=∫f(y)xf(x,y)dx
其中,
f
X
∣
Y
(
x
∣
y
)
=
f
(
x
,
y
)
f
(
y
)
f_{X|Y}(x\mid y)=\frac{f(x,y)}{f(y)}
fX∣Y(x∣y)=f(y)f(x,y) 为条件概率密度的定义。
变量的期望可以拆分为可行域之间的条件期望和:
E
(
x
)
=
∑
P
(
B
i
)
E
(
x
∣
B
i
)
E(x) = \sum P(B_i)E(x\mid B_i)
E(x)=∑P(Bi)E(x∣Bi)