目录
1 散乱的知识点
1.1 方差、协方差、协方差矩阵
- 方差(variance) V a r ( X ) = E X 2 − ( E X ) 2 \ Var(X)=EX^2-(EX)^2 Var(X)=EX2−(EX)2
- 协方差(covariance) C o v ( X , Y ) = E X Y − E X ⋅ E Y \ Cov(X,Y)=EXY-EX\cdot EY Cov(X,Y)=EXY−EX⋅EY
协方差接近于零能够表明两个随机变量之间具有很弱的线性关系,但是哪怕协方差为零,也不能排除两者有可能存在非线性关系而相互依赖,即不能证明随机变量之间相互独立。
独立性的考量仍然需要判断 P ( X Y ) , P ( X ) ⋅ P ( Y ) P(XY),P(X)\cdot P(Y) P(XY),P(X)⋅P(Y)的大小关系。 - 协方差矩阵(covariance matrix) 设向量 x x x,第i个分量记为 x i x_i xi,则该向量的协方差矩阵的i,j号元素为 C o v ( x i , x j ) Cov(x_i,x_j) Cov(xi,xj),i,i号元素,即对角线上的元素为 C o v ( x i , x i ) = V a r ( x i ) Cov(x_i,x_i)=Var(x_i) Cov(xi,xi)=Var(xi)。
协方差矩阵是由随机向量生成的,也就是说向量的每一个元素都是一个随机变量,协方差矩阵描述了各个元素之间的相关性关系。
1.2 常用的概率分布
这里省略了概率统计教材上的最常见的几种分布不唠叨
1.2.1 Multivariate normal distribution
N ( x ; μ , Σ ) = 1 ( 2 π ) n d e t ( Σ ) e x p ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) N(x;\mu,\Sigma)=\sqrt{\frac{1}{(2\pi)^ndet(\Sigma)}}\ exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)) N(x;μ,Σ)=(2π)ndet(Σ)1 exp(−21(x−μ)TΣ