机器学习|矩和协方差矩阵|15mins入门|概统学习笔记（十三）

矩、协方差矩阵

• k阶原点矩 $E(X^k)$

• k阶中心距 $E([X-E(X){]}^k)$

• k阶绝对原点矩 $E(|X{|}^k)$

• k阶绝对中心矩 $E(|X-E(X){|}^k)$

  其中k是正整数。

• 混合（原点）矩：设X和Y是随机变量，若
  $$E(X^k{Y}^L)k,L=1,2,...$$
  存在，称它为X和Y的k+L阶混合（原点）矩

• 混合中心矩：设X和Y是随机变量，若
  E { [ X − E ( X ) ] k [ Y − E ( Y ) ] L } k , L = 1 , 2 , . . . E\{[X-E(X)]^k[Y-E(Y)]^L\} \quad k,L=1,2,... E{[X−E(X)]k[Y−E(Y)]L}k,L=1,2,...
  存在，称它为X和Y的k+L阶混合中心矩。

  因此，协方差$Cov(X,Y)$是X和Y的二阶混合中心矩

• 协方差矩阵：将二维随机变量$(X_1,X_2)$的四个二阶中心矩

  ​ C 11 = E { [ X 1 − E ( X 1 ) ] 2 } C_{11}=E\{[X_1-E(X_1)]^2\} C11​=E{[X1​−E(X1​)]2}

  ​ C 12 = E { [ X 1 − E ( X 1 ) ] [ X 2 − E ( X 2 ) ] } C_{12}=E\{[X_1-E(X_1)][X_2-E(X_2)]\} C12​=E{[X1​−E(X1​)][X2​−E(X2​)]}

  ​ C 21 = E { [ X 2 − E ( X 2 ) ] [ X 1 − E ( X 1 ) ] } C_{21}=E\{[X_2-E(X_2)][X_1-E(X_1)]\} C21​=E{[X2​−E(X2​)][X1​−E(X1​)]}

  ​ C 22 = E { [ X 2 − E ( X 2 ) ] 2 } C_{22}=E\{[X_2-E(X_2)]^2\} C22​=E{[X2​−E(X2​)]2}

  排成矩阵的形式：
  $$\left(\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right)$$
  称此矩阵为$(X_1,X_2)$的协方差矩阵。

  类似定义n维随机变量$(X_1,X_2,...,X_n)$的协方差矩阵

  若
  c i j = C o v ( X i , X j ) = E { [ X i − E ( X i ) ] [ X j − E ( X j ) ] } i , j = 1 , 2 , . . . , n c_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\} \quad i,j=1,2,...,n cij​=Cov(Xi​,Xj​)=E{[Xi​−E(Xi​)][Xj​−E(Xj​)]}i,j=1,2,...,n
  都存在，称矩阵
  $$c=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right)$$
  为$(X_1,X_2,...,X_n)$的协方差矩阵