概率论之 一维随机变量的期望，方差，协方差

前言

随机变量的期望、方差、协方差性质非常重要，但又比较容易忘，记录一下加深记忆。首先是一维

一维系统

假设系统状态是由单成分构成，将其表示为一维随机变量$X$

期望

公式

如果变量$X$的概率密度为$p(x)$，则期望可表示为：
$$E(X)={\int }_{-\inf }^{+inf}xp(x)dx$$

性质

无条件服从叠加性、线性：
$$\begin{array}{rl}& E(c)=c,c\in R\\ & E(cX)=cE(X),c\in R\\ & E(X+Y)=E(X)+E(Y)\end{array}$$
如果两个随机变量$X,Y$相互独立：
$$\begin{array}{rl}& E(XY)=E(X)E(Y)\end{array}$$

方差

公式

变量$X$的期望为$E(X)$，其方差可表示为：
$$D(X)=E((X-E(X){)}^2)=E(X^2)-E^2(X)$$

性质

无条件服从以下性质：
$$\begin{array}{rl}& D(c)=0,c\in R\\ & D(cX+d)=c^{2}D(X),c,d\in R\\ & D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)\end{array}$$

协方差

公式

两个一维随机变量$X,Y$的协方差可以表示为：
$$Cov(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)$$

性质

无条件服从以下性质：
$$\begin{array}{rl}& Cov(X,Y)=Cov(Y,X)\\ & Cov(aX,bY)=abCov(X,Y),a,b\in R\\ & Cov(X+a,Y+b)=Cov(X,Y)\\ & Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\end{array}$$

自己的协方差就是方差：
$$Cov(X,X)=E(X^2)-E^2(X)=D(X)$$

相关系数

相关系数用来表征两个随机变量$X,Y$的线性相关程度：
$$\begin{array}{rl}\rho (X,Y)& =\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}\\ |\rho |& \le 1\end{array}$$

$\rho >0$：正相关
$\rho <0$：负相关
$\rho =1$：不相关

相关性与独立性

独立性：两个变量$X,Y$间没有任何关系，$X,Y$的取值互不影响，则$X，Y$相互独立。

相关性：统计上的相关性，一般是指线性相关，那么肯定还有非线性相关性。相关系数$\rho$只能衡量线性相关性。

线性相关必不独立，线性无关却可能非线性相关，因此线性无关的随机变量不一定独立，即${\rho }_{XY}=0$并不代表$X,Y$独立。

后记

稍后记录多维随机变量。