随机过程（1.2）—— 数学期望与条件期望

• 本科阶段，对离散型随机变量和连续型随机变量单独定义了数学期望和条件数学期望。
• 注意到有很多随机变量的分布函数既不是离散的也不是连续的，下面考虑如何对这类一般的分布函数定义数学期望
• 需要用到 Riemann-Stieltjes 积分，参考：随机过程（1.1）—— 概率空间、分布函数、Riemann-Stieltjes 积分

---

1. 数学期望

1.1 本质定义

• 设 $X$ 的分布函数为 $F_X(x)$，且 ${\int }_{-\infty }^{\infty }|x|dF(x)<\infty$，则称
  $$EX={\int }_{-\infty }^{\infty }xd{F}_X(x)$$ 为 $X$ 的 数学期望，其本质是 $f(x)=x$ 关于其分布函数 $F_X(x)$ 的 R-S 积分
• 两类特殊的随机变量的数学期望
  1. 若 $X$ 为离散型随机变量，有 $P(X=x_i)=p_i,i=1,2,...$，分布函数 $F(x)$ 是阶梯函数，数学期望本质上是关于阶梯函数的 R-S 积分，即
     $$EX=\sum _{i=1}^{\infty }{x}_i{p}_i$$
  2. 若 $X$ 为连续型随机变量，概率密度函数为 $p(x)$，分布函数 $F(x)$ 是连续函数，有 $dF(x)=p(x)dx$，数学期望本质上是关于连续函数的 R-S 积分，即
     $$EX={\int }_{-\infty }^{\infty }xp(x)dx$$

1.2 随机变量的函数的期望

• 设 $X$ 的分布函数为 $F_X(x)$，$g(x)$ 为一元 $R\to R$ 函数，且 $Y=g(X)$，则
  $$EY={\int }_{\mathbb{R}}g(x)d{F}_X(x)$$
• 若 $(X_1,X_2,...,X_n)$ 的分布函数为 $F(x_1,x_2,...,x_n)$，$g(x_1,x_2,...,x_n)$ 为 n 元 $R^n\to R$ 函数，则
  $$EY={\int }_{{\mathbb{R}}^n}g(x_1,x_2,...,x_n)d{F}_{X_1,X_2,...,X_n}(x_1,x_2,...,x_n)$$

1.3 期望的性质

1. 若 $EX$ 存在，则
   $$|EX|\le E|X|$$ 这是因为随机变量的分布函数 $F(X)$ 一定是单调不减函数，根据 R-S 积分性质可以证明（更本质地可以通过分割求和取极限证明，每个小区间都有 $△F\ge 0$）
2. Holder 不等式：对于任意的对偶数 $p,q$ (即 $p,q>0,\frac{1}{p}+\frac{1}{q}=1$)，有
   $$|EXY|\le E|XY|\le (E|X{|}^p{)}^{\frac{1}{p}}(E|Y{|}^q{)}^{\frac{1}{q}}$$ 特别地，p = q = 2 时
   $$E|XY|\le \sqrt{E{X}^{2}E{Y}^2}$$ 这个不等式的意义在于，可以用 $X$ 和 $Y$ 的期望对 $XY$ 的期望做一个控制
3. 对于 $k>0$，若 $E|X{|}^k\le \infty$，则 $E|X{|}^r\le \infty$，其中 $0\le r\le k$

2. 关于事件的条件数学期望（条件为一个事件）

2.1 条件期望

• 定义：给定概率空间 $(\Omega ,\mathcal{F},P)$，令 $B\in \mathcal{F}$ 且 $P(B)>0$。$F(x|B)=P(X\le x|B)$ 为 $X$ 关于事件 $B$ 的条件分布函数，则 $X$ 关于 $B$ 的 条件期望 为
  $$E(X|B)={\int }_{\mathbb{R}}xd{F}_{X|B}(x|B)$$ 随机变量的条件概率密度函数（条件分布律）其实就是一种特殊的概率密度函数（分布律）。可以换一套符号：令 $Q(\cdot )=P(\cdot |B)$ 则 $Q$ 为 $(\Omega ,\mathcal{F})$ 上的概率分布，且 $X$ 在 $Q$ 下的分布函数为
  $$\begin{array}{rl}& F_Q(x)=Q(X\le x)=F(x|B)\\ & E(X|B)={\int }_{\mathbb{R}}xdF(x|B)={\int }_{\mathbb{R}}xd{F}_Q(x)=E_Q(X)\end{array}$$
• 两类特殊的随机变量
  1. 若 $X$ 为取值 $x_i,i=1,2,...$ 的离散型随机变量，则
     $$E(X|B)=\sum _{i=1}^{\infty }{x}_{i}P(X=x_i|B)$$
  2. 若 $X$ 为连续型随机变量，则
     $$E(X|B)={\int }_{-\infty }^{\infty }xp(x|B)dx$$
• 若 $X,B$ 相互独立，即 ∀ x , { X ≤ x } \forall x,\{X\leq x\} ∀x,{X≤x} 与 $B$ 独立，则 $E(X|B)=EX$
• 例：设 $X\sim \epsilon (\gamma )$, B = { X > 1 } B=\{X>1\} B={X>1}，求 $E(X|B)$
  $$\begin{array}{rl}& \begin{array}{rl}\because F(X|B)& =P(X\le x|X>1)\\ & =\frac{P(1<X\le z)}{P(X>1)}\\ & =\{\begin{array}{rlrl}& \frac{e^{-\lambda }-e^{-\lambda x}}{e^{-\lambda }}& & x>1\\ & 0& & x\le 1\end{array}\end{array}\\ & \therefore f(x|B)=\{\begin{array}{rlrl}& \lambda e^{-\lambda (x-1)}& & x>1\\ & 0& & x\le 1\end{array}\\ & \begin{array}{rl}\therefore E(X|B)& ={\int }_1^{\infty }x\lambda e^{-\lambda (x-1)}dx\\ & =\lambda e^{\lambda }{\int }_1^{\infty }x{e}^{-\lambda x}dx\\ & =\lambda \end{array}\end{array}$$

2.2 一些重要公式

• 有时候事件概率；随机变量的分布函数、数学期望等不好求，可以把样本空间进行划分并作为条件，在这些条件的基础上，条件概率、条件分布函数、条件数学期望可能比较好求，进而间接地算出结果
• 令样本空间为若干个不交空间的并，即 $\Omega ={\sum }_{i=1}^{\infty }{B}_i$

2.2.1 全概率公式

$$\begin{array}{rl}& \forall A\in \mathcal{F}\\ & P(A)=\sum _{i=1}^{\infty }P(B_i)P(A|B_i)\end{array}$$

2.2.2 全分布函数公式

$$\begin{array}{rl}& \forall x\in \mathbb{R}\\ & \begin{array}{rl}F(x)& =p(X\le x)\\ & =\sum _{i=1}^{\infty }P(B_i)P(X\le x|B_i)\\ & =\sum _{i=1}^{\infty }P(B_i)F(x|B_i)\end{array}\end{array}$$

2.2.3 全期望公式

$$\begin{array}{rl}EX& ={\int }_{\mathbb{R}}xdF(x)\\ & ={\int }_{\mathbb{R}}xd\sum _{i=1}^{\infty }P(B_i)F(x|B_i)\\ & =\sum _{i=1}^{\infty }P(B_i){\int }_{\mathbb{R}}xdF(x|B_i)\\ & =\sum _{i=1}^{\infty }P(B_i)E(X|B_i)\end{array}$$

2.2.4 条件全期望公式

• 先算条件全分布函数公式
  $$\begin{array}{rl}F(x|A)& =P(X\le x|A)\\ & :=Q(X\le x)\\ & =\sum _{i=1}^{\infty }Q(B_i)Q(X\le x|B_i)\\ & =\sum _{i=1}^{\infty }Q(B_i)\frac{Q(X\le x,B_i)}{Q(B_i)}\\ & =\sum _{i=1}^{\infty }P(B_i|A)\frac{P(X\le x,B_i|A)}{P(B_i|A)}\\ & =\sum _{i=1}^{\infty }P(B_i|A)\frac{P(X\le x,A{B}_i)/P(A)}{P(A{B}_i)/P(A)}\\ & =\sum _{i=1}^{\infty }P(B_i|A)P(X\le x|A{B}_i)\\ & =\sum _{i=1}^{\infty }P(B_i|A)F(x|A{B}_i)\end{array}$$
• 再根据期望的定义（$x$ 关于分布函数的R-S积分）计算条件全期望公式
  $$\begin{array}{rl}E(X|A)& ={\int }_{\mathbb{R}}xdF(x|A)\\ & ={\int }_{\mathbb{R}}xd\sum _{i=1}^{\infty }P(B_i|A)F(x|A{B}_i)\\ & =\sum _{i=1}^{n}P(B_i|A){\int }_{\mathbb{R}}xdF(x|A{B}_i)\\ & =\sum _{i=1}^{n}P(B_i|A)E(X|A{B}_i)\end{array}$$

2.3 Example

• 设 r.v.s { X n , n ≥ 1 } \{X_n,n\geq 1\} {Xn​,n≥1} i.i.d，r.v. $\xi$ 取正整数值且与 { X n , n ≥ 1 } \{X_n,n\geq 1\} {Xn​,n≥1} 相互独立，求 $E(X_1+...+X_{\xi }),D(X_1+...+X_{\xi })$
• 分析：我们知道多个 i.i.d 随机变量的期望和方差如何求，这里要求和变量的个数是另一个相互独立的随机变量 $\xi$，所以可以通过 $\xi$ 的取值对样本空间进行划分，转换为求全期望和全方差
  
  

2.4 示性随机变量

• 令 $X$ 为 r.v., $A,B\in \mathcal{F},P(B)>0$，则
  $$\begin{array}{rl}& E(I_A)=P(A)\\ & E(I_A|B)=P(A|B)\\ & E(X{I}_B)=P(B)E(X|B)\end{array}$$ 其中 $I_A(w)=\{\begin{array}{rlrl}& 1& & w\in A\\ & 0& & w\notin A\end{array}$
• 从示性随机变量这个例子可以看出来，概率 $P$ 和期望 $E$ 是一回事，而期望可以写成积分，所以概率是一种特殊的积分，那么这个积分能不能算？不能算的话能不能估计？由此引发一系列问题

3. 关于 r.v. 的条件数学期望（条件为一个 r.v.）

3.1 定义

• 令 $g(\cdot )$ 为 $R\to R$ 的实值函数（这种函数和随机变量的复合仍然是随机变量），在 $Y=y$ 的条件下，$g(X)$ 的条件数学期望为：
  $$\begin{array}{rl}E(g(X)|y)& =E(g(X)|Y=y)\\ & ={\int }_{\mathbb{R}}g(x)d{F}_{X|Y}(x|y)\end{array}$$
  需要注意的是，对于连续型随机变量，$Y=y$ 不能看作一个事件，因为连续随机变量的点概率 $P(Y=y)=0$，如果把它当作事件，按上面 2.2.4 节计算条件全分布函数时，会有 $P(Y=y)$ 出现在分母位置，而 0 是不能做分母的。事实上
  1. 对于离散型随机变量，$Y=y$ 可以看作一个事件
  2. 对于连续型随机变量，$Y=y$ 只是一种符号表示，指求出 $E(g(X)|Y)$ 后，把 $Y$ 替换为 $y$。后面 3.4 节会进一步说明

3.2 计算

• 3.1 节的定义式给出了计算方法。对于 $X,Y$ 都是离散或连续的情况，可以利用以下公式计算

  1. 若 $(X,Y)$ 为二维离散型 r.v. 且 $P(Y=y)>0$，则
     $$E(g(X)|y)=\sum _{i}g(x_i)P(X=x_i|Y=y)$$
  2. 若 $(X,Y)$ 为二维连续型 r.v.，则
     $$E(g(X)|y)={\int }_{\mathbb{R}}g(x)f_{X|Y}(x|y)dx$$

• 注意：令 $g(\cdot )$ 是 $R\to R$ 的实值函数，则

  1. $E(g(X)|y)$ 是关于 $y$ 的函数
  2. $E(g(X)|Y):=E(g(X)|y{)}_{y=Y}$ 称为 $g(X)$ 关于 $Y$ 的条件数学期望
  3. $E(g(X)|Y)$ 是关于 $Y$ 的函数

  也就是说，一个随机变量 $X$ 或 $g(X)$ 关于另一个随机变量 $Y$ 的条件期望 $E(X|Y)$ 或 $E(g(X)|Y)$

  1. 是关于条件 $Y$ 的一个函数
  2. 本身也是一个随机变量，计算时可以先求出 $E(g(X)|y)$，再直接把 $y$ 替换为 $Y$ 以得到 $E(g(X)|Y)$
     

3.3 条件期望的性质

3.3.1 五条性质

• 假设 $X,Y,Z$ 为连续型 r.v. ，概率密度分别为 $f_X,f_Y,f_Z$

  1. 若 $X\ge 0$，则 $E(X|Y)\ge 0$
     
  2. $\forall a,b\in R$，$E(aX+bY|Z)=aE(X|Z)+bE(Y|Z)$
     
  3. 若 $X$ 与 $Y$ 独立（$X\perp \perp Y$），则 $E(X|Y)=EX$
     
  4. $E(Xg(Y)|Y)=g(Y)E(X|Y)$
     
  5. $E(E(X|Y))=EX$
     

3.3.2 一条推论

• $E[E(X|Y)g(Y)]=E[Xg(Y)]$
  $$\begin{array}{rl}& \because g(Y)E(X|Y)=E(Xg(Y)|Y)(性质4)\\ & \therefore E(E(X|Y)g(Y))=E(E(Xg(Y)|Y))\\ & \because E(E(X|Y))=EX(性质5)\\ & \begin{array}{rl}\therefore E(E(X|Y)g(Y))& =E(E(Xg(Y)|Y))\\ & =E(Xg(Y)|Y)\end{array}\end{array}$$

3.4 条件期望的本质 —— 投影

3.4.1 投影

• 随机变量生成的空间：考虑 $R\to R$ 的实值函数 $g(\cdot )$，对于随机变量 $Y$，选择不同的 $g(\cdot )$ 与其复合，就能得到不同的新的随机变量 $g(Y)$，所有满足 $E{g}^2(Y)<\infty$ 的 $g(Y)$ 的集合，称为随机变量 $Y$ 生成的空间，即
  { g ( Y ) ∣ g : R → R 且 E g 2 ( Y ) < ∞ } \{g(Y)\big| g:R\to R 且 Eg^2(Y)<\infin\} {g(Y)∣∣​g:R→R且Eg2(Y)<∞}
• 考虑随机变量 $X$ 到 $Y$ 生成的空间的距离，用 $E[X-g(Y){]}^2$ 表示（省略开方以简化运算），有
  $$\begin{array}{rl}E[X-g(Y){]}^2& =E[X-E(X|Y)+E(X|Y)-g(Y){]}^2\\ & =E[X-E(X|Y){]}^2+E[E(X|Y)-g(Y){]}^2+2E[X-E(X|Y)\left]\right[E(X|Y)-g(Y)]\end{array}$$
  关注其中的交叉项
  $$\begin{array}{rl}E[X-E(X|Y)\left]\right[E(X|Y)-g(Y)]& =E[XE(X|Y)-Xg(Y)-(E(X|Y){)}^2+E(X|Y)g(Y)]\\ & =E[XE(X|Y)]-E[Xg(Y)]-E[(E(X|Y){)}^2]+E[E(X|Y)g(Y)]\\ & =E[XE(X|Y)]-E[(E(X|Y){)}^2]\end{array}$$
  展开剩下的两项，发现他们相等
  $$\begin{array}{rl}& \begin{array}{rl}E[XE(X|Y)]& =\int {\int }_{R^2}xg(y)f_{X,Y}(x,y)dxdy\\ & =\int {\int }_{R^2}x{\int }_{R}x{f}_{X|Y}(x|y)dx{f}_{X,Y}(x,y)dxdy\\ & =\int {\int }_{R^2}x{\int }_{R}x{f}_{X|Y}(x|y)dx{f}_{X,Y}(x,y)dxdy\\ & =\int \int {\int }_{R^3}{x}^2{f}_{X|Y}(x|y)f_{X,Y}(x,y)dxdxdy\end{array}\\ & \begin{array}{rl}E[(E(X|Y){)}^2]& ={\int }_{R}g(y{)}^2{f}_Y(y)dy\\ & ={\int }_R(E[X|Y=y]{)}^2{f}_Y(y)dy\\ & ={\int }_R({\int }_{R}x{f}_{X|Y}(x|y){)}^2{f}_Y(y)dy\\ & =\int \int {\int }_{R^3}{x}^2(f_{X|Y}(x|y){)}^2{f}_Y(y)dxdxdy\\ & =\int \int {\int }_{R^3}{x}^2{f}_{X|Y}(x|y)f_{X,Y}(x,y)dxdxdy\end{array}\\ & \\ & \therefore E[XE(X|Y)]=E[(E(X|Y){)}^2]\end{array}$$
  因此交叉项为0，随机变量 $X$ 到 $Y$ 生成的空间的距离可以表示为
  $$E[X-g(Y){]}^2=E[X-E(X|Y){]}^2+E[E(X|Y)-g(Y){]}^2$$
• 考虑这个距离何时最小。我们知道 $E(X|Y)$ 是关于 $Y$ 的函数，而 $g(\cdot )$ 是取遍的，因此不妨取 $g(Y)=E(X|Y)$，此时得到随机变量 $X$ 到 $Y$ 生成的空间的最短距离为
  $$\underset{g}{\inf }E[X-g(Y){]}^2=E[X-E(X|Y){]}^2$$ 假设随机变量 $X$ 是空间中的一个向量（向量上每个点代表一个取值），$Y$ 生成的空间是由一组随机变量 $g(Y)$ 组成的二维平面，如下图所示
  
  显然，最短距离是 $X$ 到 “$X$ 在 $Y$ 生成的空间上的投影” 的距离，也就是说这时平面上满足要求的 $g(Y)$ 就是投影，而我们前面选出了 $g(Y)=E(X|Y)$，所以条件期望 $E(X|Y)$ 的本质就是：$X$ 到 $Y$ 生成空间的投影
• 利用这个本质，再来看上面的性质：$X\perp \perp Y\Rightarrow E(X|Y)=EX$。$X$ 与 $Y$ 独立意味着 $X$ 在空间中的向量和 $Y$ 生成的平面垂直，所以投影是一个点，它是一个数，记作 a，有
  $$\begin{array}{rl}& E(X|Y)=a\\ & \therefore E[E(X|Y)]=Ea\\ & \therefore EX=a\\ & \therefore E(X|Y)=EX\end{array}$$

3.4.2 直观推论

• 利用条件期望的投影本质，可以直观地给出一些等式关系，具体证明省略
  1. 空间上元素往自己空间上投影，还是自己
     $$E(g(Y)|Y)=g(Y)$$
  2. 连续向多个空间投影，等价于直接向最小的空间投影
     $$\begin{array}{rl}& E[E(X|Z)|Y,Z]=E(X|Z)\\ & E[E(X|Y,Z)|Z]=E(X|Z)\end{array}$$

3.4.3 Example

3.5 深入理解条件数学期望

3.5.1 关于 r.v. 的条件数学期望的正统定义

• 3.1 节中，我们给出的 “关于 r.v. 的条件数学期望的定义” 是：令 $g(\cdot )$ 为 $R\to R$ 的实值函数，在 $Y=y$ 的条件下，$g(X)$ 的条件数学期望为：
  $$\begin{array}{rl}E(g(X)|y)& =E(g(X)|Y=y)\\ & ={\int }_{\mathbb{R}}g(x)d{F}_{X|Y}(x|y)\end{array}$$ 这种定义通常是工科教材里的定义，它能告诉我们数学期望如何计算，但是并没有触及本质。这种定义方法把 $Y=y$ 看做一个事件，但事实上，对于连续型随机变量，不能把 $Y=y$ 当作事件处理。3.1 节中已经说明过这个问题

• 为了深入理解其中原由，下面给出数学专业中对于 “关于 r.v. 的条件数学期望的定义”：给定概率空间 $(\Omega ,\mathcal{F},P)$，对于 r.v.s X,Y,Z，若

  1. $Z$ 为 $Y$ 的函数
  2. $\forall A\in \mathcal{B}(\mathbb{R})$（就是实数集上任意集合 $A$），有 $EX{I}_A(Y)=EZ{I}_A(Y)$

  则称 $Z$ 为 $X$ 关于 $Y$ 的条件数学期望，即 $Z=E(X|Y)$，

• 注：$I_A(Y)(w)=I_{Y^{-1}(A)}(w)$ 是一个示性随机变量，即
  $$I_A(Y)(w)=I_{Y^{-1}(A)}(w)=\{\begin{array}{rlrl}& 1& & w\in A\\ & 0& & w\notin A\end{array}$$ 其中 Y − 1 ( A ) = { w : Y ( w ) ∈ A } Y^{-1}(A) = \{w:Y(w)\in A\} Y−1(A)={w:Y(w)∈A} 称为 A在Y下的原像，指被随机变量 $Y$ 映射到实数集 $A$ 中的事件组成的集合

3.5.2 再看离散和连续随机变量的条件期望

1. 若 $Y$ 为离散型 r.v.，取值为 { y n : n = 1 , 2 , 3... } \{y_n: n=1,2,3...\} {yn​:n=1,2,3...}，则

   1. $X$ 关于 r.v. $Y$ 的条件期望为
      E ( X ∣ Y ) = ∑ n = 1 ∞ E [ X ∣ Y − 1 ( { y n } ) ] I { y n } ( Y ) E(X|Y) = \sum_{n=1}^\infin E\big[X|Y^{-1}(\{y_n\})\big]I_{\{y_n\}}(Y) E(X∣Y)=n=1∑∞​E[X∣Y−1({yn​})]I{yn​}​(Y) 这里 Y − 1 ( { y n } ) Y^{-1}(\{y_n\}) Y−1({yn​}) 指使得 $Y(w)=y_n$ 的全体事件 $w$ 的集合； I { y n } ( Y ) I_{\{y_n\}}(Y) I{yn​}​(Y) 指 $Y=y_n$ 时其值为 $1$。
   2. 证明：显然这个是关于 $Y$ 的函数，只需证 $$EX{I}_A(Y)=EE(X|Y)I_A(Y)$$ 不妨取一个单点集作为 $A$，即 $A=y_m$，有
      
   3. 那么，对于任意 $Y=y_n$，有 I { y n } ( Y ) = 1 I_{\{y_n\}}(Y) = 1 I{yn​}​(Y)=1， I { y i ≠ n } ( Y ) = 0 I_{\{y_{i\neq n}\}}(Y) = 0 I{yi​=n​}​(Y)=0，此时
      E ( X ∣ y n ) = E ( X ∣ Y ) Y = y n = E [ X ∣ Y − 1 ( { y n } ) ] : = E [ X ∣ Y = y n ] E(X|y_n) = E(X|Y)_{Y=y_n} = E\big[X|Y^{-1}(\{y_n\})\big] := E\big[X|Y=y_n\big] E(X∣yn​)=E(X∣Y)Y=yn​​=E[X∣Y−1({yn​})]:=E[X∣Y=yn​] 可见，离散情况下 $Y=y_n$ 代表的是事件集合 Y − 1 ( { y n } ) Y^{-1}(\{y_n\}) Y−1({yn​})，它确实是一个事件

2. 若 $(X,Y)$ 为二维连续型 r.v.，联合概率密度为 $f(x,y)$，则

   1. $X$ 关于 r.v. $Y$ 的条件期望为
      $$E(X|Y{)}_{Y=y}=g(y)={\int }_{\mathbb{R}}x{f}_{X|Y}(x|y)dx$$
   2. 证明
      
   3. 可见，有
      $$E(X|y)=E(X|Y{)}_{Y=y}=g(y):=E(X|Y=y)$$ 这里是利用期望的本质定义，直接积分算出了 $g(Y)=E(X|Y)$，然后再把 $Y$ 替换为 $y$，因此 $Y=y$ 只是一个记号，并非事件