琴生Jensen不等式，条件期望

1. Jensen 不等式

Jensen 不等式的意义是：函数的期望大于等于期望的函数（该函数必须是凸函数，若为凹函数，则相反），即
$$E(f(x))\ge f(E(x))$$

或者写成凸函数条件表达式的形式，在这个表达式式中，$t$ 相当于 x1x_1x1​ 的概率， $(1-t)$ 相当于 x2x_2x2​ 的概率：
tf(x1)+(1−t)f(x2)≥f(tx1+(1−t)x2)t∈{0,1}tf(x_1)+(1-t)f(x_2)\geq f(tx_1+(1-t)x_2)\quad t\in\{0,1\}tf(x1​)+(1−t)f(x2​)≥f(tx1​+(1−t)x2​)t∈{0,1}

2. 条件期望

条件期望的表达式，若 X, Y 是两个变量：
E(X∣Y=y)=∫xfX∣Y(x∣y)dx=∫xf(x,y)f(y)dxE(X\mid Y=y) = \int xf_{X|Y}(x\mid y)dx=\int \frac{xf(x,y)}{f(y)}dxE(X∣Y=y)=∫xfX∣Y​(x∣y)dx=∫f(y)xf(x,y)​dx

其中，
fX∣Y(x∣y)=f(x,y)f(y)f_{X|Y}(x\mid y)=\frac{f(x,y)}{f(y)}fX∣Y​(x∣y)=f(y)f(x,y)​ 为条件概率密度的定义。

变量的期望可以拆分为可行域之间的条件期望和：
E(x)=∑P(Bi)E(x∣Bi)E(x) = \sum P(B_i)E(x\mid B_i)E(x)=∑P(Bi​)E(x∣Bi​)

转载于:https://www.cnblogs.com/robinchen/p/11047599.html