https://blog.csdn.net/henhen2002/article/details/5540039
Definition:
The conditional expectation of X given Y=y is:
①E(X|Y=y) = ∑xf(x|y) for discrete case
②E(X|Y=y) = ∫xf(x|y)dx for continuous case
需要注意的一个问题是,EX是一个数值,而E(X|Y=y)是一个关于y的函数。
比较:
EX是对所有ω∈Ω,X(ω)取值全体的加权平均;而E(X|Y=y)是局限在ω∈{ω:Y(ω)=y}时,X(ω)取值局部的加权平均。按照Y的不同取值,整个样本空间Ω被划分为n个互不相容的事件(Ω=∑B(j))。因此E(X|Y=y)是在某一个{B(j),j∈N}上X(ω)的局部加权平均.
E(X|Y)引入
显然E(X|Y=y(1)),E(X|Y=y(2)),....(不能打下标太不方便了,小括号里面的“1”,“2”都是下标,诸君凑合着看吧),依赖于Y=y(j),即依赖于全局样本空间的划分。这样,从样本空间Ω及对ω∈Ω可以变化的观点看,有必要引进一个新的随机变量,记为E(X|Y)。对于这个随机变量E(X|Y),当Y=y时它的取值为E(X|Y=y),称随机变量E(X|Y)为随机变量X关于随机变量Y的条件数学期望。这里借用一本教材上的说法:Before we observe Y,we don't know the value of E(X|Y=y) so it is a random varible which we denote E(X|Y). 随机变量E(X|Y)是随机变量Y的函数,事实上,它只是局部平均{E(X|Y=y(j)),j∈N}的统一表达式。
到这里便很容易想到,EX和E(X|Y)在数学上的关系。由于E(X|Y=y)是一种依赖于Y的分割的局部平均,而EX是全体的平均,那么把E(X|Y)再平均一次,会得到什么呢?由此得到著了名的一个定理,The Rule of Iterated Expectations:
For random variables X and Y, assuming the expectations exist,we have that
E(E(X|Y))=EX;
More generally,for any function r(x,y) we have
E(E(r(X,Y)|X))=E(r(X,Y))
其实这个伟大的定理的背景是极其常见的,真理往往来源于生活。举个例子,如果我们要计算某个年级学生的平均分,有两种方法:
1.可以把该年级每个学生的成绩∑起来,然后再除以总人数,这是极为常规的方法。该方法对应于计算EX;
2.我们还可以先计算每个班级的平均分(第一次平均),然后在把每个班级的平均分加起来除以班级数(第二次平均)。这便是E(E(X|Y))。这个例子里面,每个班级相当于Y,计算每个班级的平均分相当于固定一个Y=y去求E(X|Y=y),最后再对班级做平均。
很显然,用1和2的方法得到的结果是一致的。即E(E(X|Y))=EX!这就是伟大的定理隐含的思想:先局部平均,再整体平均。何等的大众化!这才是伟大的智慧!想起初中班主任的一句话:什么叫公理?就是鸡,狗都知道的东西,比如两点之间直线最短!当然,有了思想之后还必须付诸于公式,必须要以数学的形式表示出来,那就perfect了!
个人认为,只要理解了条件期望局部平均的本质,那一大堆的公式推导就没有任何问题了。无非就是以条件概率密度函数为核心的一堆积分而已。