经验分布函数的期望值公式解析

E [ F ^ n ( x ) ] = E [ 1 n ∑ i = 1 n 1 { X i ≤ x } ] = 1 n n F X ( x ) = F X ( x ) E[\hat{F}_n(x)] = E\left[\frac{1}{n} \sum_{i=1}^{n} \mathbf{1}\{X_i \leq x\}\right] = \frac{1}{n} n F_X(x) = F_X(x) E[F^n​(x)]=E[n1​i=1∑n​1{Xi​≤x}]=n1​nFX​(x)=FX​(x)

这个公式描述了经验分布函数（Empirical Distribution Function，简称EDF）的期望值。我们来逐步解析这个公式，以便更好地理解它：

1. 定义经验分布函数： ${\hat{F}}_n(x)$ 是经验分布函数，定义为样本中不超过 $x$ 的观测值的比例。具体的公式是
   F ^ n ( x ) = 1 n ∑ i = 1 n 1 { X i ≤ x } \hat{F}_n(x) = \frac{1}{n} \sum_{i=1}^{n} \mathbf{1}\{X_i \leq x\} F^n​(x)=n1​i=1∑n​1{Xi​≤x}

其中， 1 { X i ≤ x } \mathbf{1}\{X_i \leq x\} 1{Xi​≤x} 是一个指示函数，当 $X_i\le x$ 时取值为 1，否则为 0。

2. 计算期望：要求 ${\hat{F}}_n(x)$ 的期望，即 $E[{\hat{F}}_n(x)]$ ，可以使用线性期望的性质，即期望的和等于和的期望。因此，
   E [ F ^ n ( x ) ] = E [ 1 n ∑ i = 1 n 1 { X i ≤ x } ] E[\hat{F}_n(x)] = E\left[\frac{1}{n} \sum_{i=1}^{n} \mathbf{1}\{X_i \leq x\}\right] E[F^n​(x)]=E[n1​i=1∑n​1{Xi​≤x}]

由于 $\frac{1}{n}$ 是常数，可以提出到期望的外面：

E [ F ^ n ( x ) ] = 1 n ∑ i = 1 n E [ 1 { X i ≤ x } ] E[\hat{F}_n(x)] = \frac{1}{n} \sum_{i=1}^{n} E[\mathbf{1}\{X_i \leq x\}] E[F^n​(x)]=n1​i=1∑n​E[1{Xi​≤x}]

3. 计算指示函数的期望：

指示函数 1 { X i ≤ x } \mathbf{1}\{X_i \leq x\} 1{Xi​≤x} 的值取决于事件 { X i ≤ x } \{X_i \leq x\} {Xi​≤x} 是否发生。具体来说：

如果 $X_i\le x$ 成立，那么 1 { X i ≤ x } = 1 \mathbf{1}\{X_i \leq x\} = 1 1{Xi​≤x}=1 ；

如果 $X_i>x$ ，那么 1 { X i ≤ x } = 0 \mathbf{1}\{X_i \leq x\} = 0 1{Xi​≤x}=0 。

指示函数的期望值（ E [ 1 { X i ≤ x } ] E[\mathbf{1}\{X_i \leq x\}] E[1{Xi​≤x}] ）就是这个函数值的加权平均，而权重则是各自结果发生的概率。所以，计算指示函数的期望可以表示为：

E [ 1 { X i ≤ x } ] = 1 ⋅ P ( X i ≤ x ) + 0 ⋅ P ( X i > x ) E[\mathbf{1}\{X_i \leq x\}] = 1 \cdot P(X_i \leq x) + 0 \cdot P(X_i > x) E[1{Xi​≤x}]=1⋅P(Xi​≤x)+0⋅P(Xi​>x)

这里 $P(X_i\le x)$ 是 $X_i$ 的值小于或等于 $x$ 的概率，而 $P(X_i>x)$ 是 $X_i$ 的值大于 $x$ 的概率。由于 $0\cdot P(X_i>x)$ 为 0，所以上面的公式简化为：

E [ 1 { X i ≤ x } ] = P ( X i ≤ x ) E[\mathbf{1}\{X_i \leq x\}] = P(X_i \leq x) E[1{Xi​≤x}]=P(Xi​≤x)

由于每个 $X_i$ 是独立同分布的， E [ 1 { X i ≤ x } ] E[\mathbf{1}\{X_i \leq x\}] E[1{Xi​≤x}] 实际上就是 $X_i$ 小于等于 $x$ 的概率，即分布函数 $F_X(x)$ 。因此，
E [ 1 { X i ≤ x } ] = F X ( x ) E[\mathbf{1}\{X_i \leq x\}] = F_X(x) E[1{Xi​≤x}]=FX​(x)

4. 将期望值代入求和：由于每个 $i$ 都是相同的概率，我们有
   $$E[{\hat{F}}_n(x)]=\frac{1}{n}\sum _{i=1}^n{F}_X(x)=\frac{1}{n}n{F}_X(x)=F_X(x)$$

因此，这个公式表明，经验分布函数的期望等于理论分布函数 $F_X(x)$ 。这说明了经验分布函数是理论分布函数的一个无偏估计。

我们再通过一个具体的例子来说明：

假设 $X_i$ 是一个简单的离散随机变量，它以 $\frac{1}{2}$ 的概率取值 0，以 $\frac{1}{2}$ 的概率取值 1。

现在我们要计算 E [ 1 { X i ≤ 0.5 } ] E[\mathbf{1}\{X_i \leq 0.5\}] E[1{Xi​≤0.5}] 。
根据 $X_i$ 的取值情况：

当 $X_i=0$ （发生概率为 $\frac{1}{2}$ ）， 1 { X i ≤ 0.5 } = 1 \mathbf{1}\{X_i \leq 0.5\} = 1 1{Xi​≤0.5}=1 ，

当 $X_i=1$ （发生概率为 $\frac{1}{2}$ ）， 1 { X i ≤ 0.5 } = 0 \mathbf{1}\{X_i \leq 0.5\} = 0 1{Xi​≤0.5}=0 。
因此，

E [ 1 { X i ≤ 0.5 } ] = 1 ⋅ 1 2 + 0 ⋅ 1 2 = 1 2 E[\mathbf{1}\{X_i \leq 0.5\}] = 1 \cdot \frac{1}{2} + 0 \cdot \frac{1}{2} = \frac{1}{2} E[1{Xi​≤0.5}]=1⋅21​+0⋅21​=21​

这也恰好是 $P(X_i\le 0.5)$ ，即 $X_i$ 小于等于 0.5 的概率。这样的计算展示了指示函数的期望确实等于该事件的概率，即 $F_X(x)$ 。