Sample mean of a random variable

Intuition from some examples

给定一个随机变量$X$满足某种分布, 我们可以通过sample它得到其mean or variance. 假设sample了$N$个点, 那sample mean
$$\overline{X}=\frac{1}{N}\sum _{n=1}^N{X}_n$$
随着$N$的增加,$\overline{X}$应该越来越趋近于真实的mean $\mathbb{E}[X]$ 最终相等. 但是simulation results indicate otherwise.
例1: Bernoulli distribution $X\sim Bernoulli(p=0.6)$, 随着N的增大,sample mean的curve如下图所示

可以看到, 最终的mean确实好像是收敛到了$p=0.6$. 但是如果我们放大来看的话会发现, 这条曲线实际上在抖动,就是说他并不是converge到一个点的.

例2: Gaussian distribution $X\sim N(0,1)$, sample mean的curve

可以看到, $10^6$之后sample mean仍在抖动. 虽然抖动的很小, 但至少不是想象中的converge to a single point.

以上simulation表示, sample mean 收敛不到 population mean (i.e., 真