【概率论】期望、方差、协方差、相关系数、相关与独立、样本估计量、点估计、区间估计

期望

• $E[a]=a$
• $E[aX]=aE[X]$
• $E[X+Y]=E[X]+E[Y]$
• $E[X,Y]=E[X]E[Y]$ 当且仅当 $\mathrm{Cov}[X,Y]=0$
• $E[Y]=E[E(Y|X)]$（全期望公式）
• $E^2[XY]\le E[X^2]E[Y^2]$（柯西-施瓦茨不等式）

方差

• $\mathrm{Var}[a]=D[a]=0$
• $D[aX]=a^{2}D[X]$
• $D[X]=E[(X-E[X]{)}^2]=E[X^2]-E^2[X]$
• $D[aX+bY]=a^{2}D[X]+b^{2}D[Y]+2ab\mathrm{Cov}[X,Y]$
• $\mathrm{Var}\left({\sum }_{i=1}^N{X}_i\right)={\sum }_{i,j=1}^N\mathrm{Cov}\left(X_i,X_j\right)={\sum }_{i=1}^N\mathrm{Var}\left(X_i\right)+{\sum }_{i\ne j}\mathrm{Cov}\left(X_i,X_j\right)$
• $\mathrm{Var}\left({\sum }_{i=1}^N{a}_i{X}_i\right)={\sum }_{i,j=1}^N{a}_i{a}_j\mathrm{Cov}\left(X_i,X_j\right)$，$a_i$ 为常数，$X_i$ 为随机变量

协方差

• Cov ⁡ [ X , Y ] = E [ { X − E [ X ] } { Y − E [ Y ] } ] = E [ X Y ] − E [ X ] E [ Y ] \operatorname{Cov}[X,Y]=E[\{X-E[X]\}\{Y-E[Y]\}]=E[XY]-E[X]E[Y] Cov[X,Y]=E[{X−E[X]}{Y−E[Y]}]=E[XY]−E[X]E[Y]
• $|\mathrm{Cov}[X,Y]|\le \sqrt{\mathrm{Var}[X]\mathrm{Var}[Y]}$
• 若 $\mathrm{Cov}[X,Y]=0$，则 $E[XY]=E[X]E[Y]$
• $\mathrm{Cov}[X,Y+Z]=\mathrm{Cov}[X,Y]+\mathrm{Cov}[X,Z]$
• $\mathrm{Cov}[aX,Y]=\mathrm{Cov}[X,aY]=a\mathrm{Cov}[X,Y]$

相关系数

• $\rho (X,Y)=\frac{\mathrm{Cov}[X,Y]}{\sqrt{\mathrm{Var}[X]\mathrm{Var}[Y]}}$
• $\rho (X,Y)$ 表示 $X$ 和 $Y$ 线性关系的大小和方向，且只能反映出线性关系
• $\rho (X,Y)=1⟺$ $Y$ 随 $X$ 变大而线性增长
• $\rho (X,Y)=-1⟺$ $Y$ 随 $X$ 变小而线性下降
• $\rho (X,Y)=0⟺$ $Y$ 与 $X$ 无线性关系
  • 令 $Y=a+bX+Z$，其中 $a、b$ 为常数，$Z$ 为随机变量且与 $X$ 无关
  • $\rho (X,Y)=\frac{b}{\sqrt{b^2+{\sigma }_Z^2/{\sigma }_X^2}}=0$，即 $b=0$

独立与不相关

• 不相关指 $\mathrm{Cov}[X,Y]=0$，即 $X$ 与 $Y$ 非线性关系，$E[XY]=E[X]E[Y]$
• 独立指 $P[XY]=P[X]P[Y]$

协方差矩阵

• $X=[X_1,X_2,...,X_n{]}^T$
• $\mu =[{\mu }_1,{\mu }_2,...,{\mu }_n{]}^T$
• $\sum =E[(X-\mu )(X-\mu {)}^T]$
• 对称矩阵
• 半正定矩阵，且特征值 $\ge 0$，行列式 $\ge 0$
  • $\forall y\in {\mathbb{R}}^n,y^T\sum y=E[y^T(X-\mu )(X-\mu {)}^{T}y]$
  • $y^T\sum y=E[((X-\mu {)}^{T}y{)}^T((X-\mu {)}^{T}y)]=E[||(X-\mu {)}^{T}y|{|}_2^2]\ge 0$
• $|{\sum }_{ij}|\le {\sum }_{ii}{\sum }_{jj}$

样本估计量

假设样本真实均值与方差为 $\mu ,\sigma$

样本均值

$$\mu =E[\bar{X}]=E[\frac{1}{n}\sum _{i=1}^n{X}_i]=\frac{1}{n}\sum _{i=1}^{n}E[X_i]=\frac{1}{n}\sum _{i=1}^n\mu =\mu$$

样本方差

公式：
$${\sigma }^2=E[(X-\mu {)}^2]=E[S^2]=E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]=E[\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2]$$

推导：
$$\begin{array}{rl}E[S^2]& =E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(X_i^2+{\mu }^2-2\mu X_i)]\\ & =E[E[X^2]+E^2[X]-2\mu E[X]]\\ & =E[X^2]-E^2[X]\\ & ={\sigma }^2\end{array}$$

$$\begin{array}{rl}E[S^2]& =E[\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2]\\ & =\frac{1}{n-1}E[\sum _{i=1}^n((X_i-\mu )-(\bar{X}-\mu ){)}^2]\\ & =\frac{1}{n-1}E[\sum _{i=1}^n(X_i-\mu {)}^2+n(\bar{X}-\mu {)}^2-2(\bar{X}-\mu )\sum _{i=1}^n(X_i-\mu )]\\ & =\frac{1}{n-1}E[\sum _{i=1}^n(X_i-\mu {)}^2-n(\bar{X}-\mu {)}^2]\\ & =\frac{1}{n-1}(E[\sum _{i=1}^n(X_i-\mu {)}^2]-nE[(\bar{X}-\mu {)}^2])\\ & =\frac{1}{n-1}(n{\sigma }^2-nD[\bar{X}])\\ & =\frac{1}{n-1}(n{\sigma }^2-n\frac{1}{n^2}\sum _{i=1}^{n}D[X_i])\\ & =\frac{1}{n-1}(n{\sigma }^2-{\sigma }^2)\\ & ={\sigma }^2\end{array}$$

交叉验证 t 检验

原理

表格

点估计与区间估计

假设人类身高分布为正态分布，即 $X～N(\mu ,{\sigma }^2)$。其中 $\mu$ 和 $\sigma$ 均为定值，但我们只知道 $\sigma$ 的取值，现在想要使用抽样的方法来估计 $\mu$ 的值。

假设我们抽样的数据为 $(x_1,...,x_N)$，则我们可以用这组数据的均值来估计 $\mu$，即令估计值 $\hat{\mu }=\bar{X}=\frac{1}{N}{\sum }_{i=1}^N{x}_i$，这种方法即为点估计。

点估计可以直接估计出具体数值，但对于估计误差没有度量，因此引入了区间估计的方法。

由于 $X～N(\mu ,{\sigma }^2)$ 是确定的，因此 $\bar{X}～N(\mu ,\frac{{\sigma }^2}{n})$ 也是确定的，所以我们可以得到：
$$P(\frac{-1.96\sigma }{\sqrt{n}}\le \bar{X}-\mu \le \frac{1.96\sigma }{\sqrt{n}})$$
由此我们可以使用区间估计，即认为 $\mu$ 在区间 $[\bar{X}-\frac{-1.96\sigma }{\sqrt{n}},\bar{X}+\frac{-1.96\sigma }{\sqrt{n}}]$ 中，并且该区间的置信度为 95%。

对置信度通常有两种理解方式：

• $\mu$ 落在给定区间的概率为 95%
• 每抽样一次，可以得到一个区间，抽样 100 次，则可以得到 100 个区间，其中大概有 95 个区间包含 $\mu$

第二种理解方式正确，第一种则不正确，因为 $\mu$ 是定值而不是随机变量，因此 $\mu$ 要么落在区间内，要么不落在区间内，没有「概率」一说。所以通常可以将「95% 置信度」理解为「有 95% 的把握认为区间内包含 $\mu$」。