【什么是自相关矩阵，自协方差矩阵，互相关矩阵，互协方差矩阵？】

写在前面的话

最近看模式识别课程的时候卡在了一个地方，见下图：

协方差矩阵倒还知道，自相关矩阵？怎么推导的？它有什么意义？上网查了资料，要么晦涩难懂，要么一堆废话，这里我想尽量用最简洁的语言讲清楚它们。

前置知识

向量的内积与外积

场景：机器学习

样本（n个样本，N个维度（特征））：
X = { x 1 , x 2 , . . . , x n } x i = { w i , 1 , w i , 2 , . . . , w i , N } T i ∈ [ 1 , n ] w j = { w 1 , j , w 2 , j , . . . , w n , j } j ∈ [ 1 , N ] X=\left \{ x_1,x_2,...,x_n \right \} \\ x_i=\left \{ w_{i,1},w_{i,2},...,w_{i,N} \right \} ^T \\ i\in \left [ 1,n \right ] \\ w_j=\left \{ w_{1,j},w_{2,j},...,w_{n,j} \right \}\\ j\in \left [ 1,N \right ] \\ X={x1​,x2​,...,xn​}xi​={wi,1​,wi,2​,...,wi,N​}Ti∈[1,n]wj​={w1,j​,w2,j​,...,wn,j​}j∈[1,N]
这里的i和j与下面的i和j无关！！！

具体样例（3个样本，4个维度（特征））：
X = { x 1 , x 2 , x 3 } x 1 = { 1 , 2 , 3 , 4 } T x 2 = { 3 , 2 , 1 , 4 } T x 3 = { 2 , 2 , 3 , 4 } T X=\left \{ x_1,x_2,x_3 \right \} \\ x_1=\left \{ 1,2,3,4 \right \} ^T\\ x_2=\left \{ 3,2,1,4 \right \} ^T\\ x_3=\left \{ 2,2,3,4 \right \} ^T X={x1​,x2​,x3​}x1​={1,2,3,4}Tx2​={3,2,1,4}Tx3​={2,2,3,4}T
方差（后面会频繁用到方差）：

自协方差矩阵

首先定义由各样本向量均值构成的向量$M_X$ ，则样本向量$X$构成的协方差矩阵记为 ：
M X = E ( X ) = { m 1 , m 2 , . . . , m N } T C X , X = E { ( X − M X ) ( X − M X ) T } = [ c 1 , 1 . . . c 1 , N . . . . . . . . . c N , 1 . . . c N , N ] M_X=E\left ( X \right )=\left \{ m_1,m_2,...,m_N \right \}^T \\ C_{X,X}=E\left\{ \left ( X-M_X \right )\left ( X-M_X \right ) ^T \right\} =\begin{bmatrix} c_{1,1} & ... & c_{1,N}\\ ... & ... & ...\\ c_{N,1} & ... &c_{N,N} \end{bmatrix} MX​=E(X)={m1​,m2​,...,mN​}TCX,X​=E{(X−MX​)(X−MX​)T}=⎣⎡​c1,1​...cN,1​​.........​c1,N​...cN,N​​⎦⎤​
$c_{i,i}$是$w_i$的方差：
$$c_{i,i}=E\left\{\left(w_i-M_{X,i}\right){\left(w_i-M_{X,i}\right)}^T\right\}=E\left\{{\left|w_i-M_{X,i}\right|}^2\right\}$$
$c_{i,j}$是$w_i$和$w_j$的协方差：
$$c_{i,j}=E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\}$$
通过公式可以知道，自协方差矩阵也是Hermitian矩阵。自协方差矩阵也被称为方差矩阵，用符号$Var(X)$表示。

注意，自协方差矩阵是N*N的方阵，理解协方差矩阵的关键就在于它的计算是不同维度之间的协方差，而不是不同样本之间。拿到一个样本矩阵，最先要明确的就是一行是一个样本还是一个维度。在这里一行是一个维度，一列是一个样本，这一点一定要记住！

具体样例

X = { x 1 , x 2 , x 3 } x 1 = { 1 , 2 , 3 , 4 } T x 2 = { 3 , 2 , 1 , 4 } T x 3 = { 2 , 2 , 3 , 4 } T X = [ 1 3 2 2 2 2 3 1 3 4 4 4 ] X=\left \{ x_1,x_2,x_3 \right \} \\ x_1=\left \{ 1,2,3,4 \right \} ^T\\ x_2=\left \{ 3,2,1,4 \right \} ^T\\ x_3=\left \{ 2,2,3,4 \right \} ^T\\ X=\begin{bmatrix} 1 & 3 & 2 \\ 2 & 2 & 2 \\ 3 & 1 & 3 \\ 4 & 4 & 4 \\ \end{bmatrix} X={x1​,x2​,x3​}x1​={1,2,3,4}Tx2​={3,2,1,4}Tx3​={2,2,3,4}TX=⎣⎢⎢⎡​1234​3214​2234​⎦⎥⎥⎤​

M X = E ( X ) = { m 1 , m 2 , . . . , m N } T m 1 = ( 1 + 3 + 2 ) / 3 = 2 m 2 = ( 2 + 2 + 2 ) / 3 = 2 m 3 = ( 3 + 1 + 3 ) / 3 = 2.5 m 4 = ( 4 + 4 + 4 ) / 3 = 4 M X = { 2 , 3 , 2.5 , 4 } T M_X=E\left ( X \right )=\left \{ m_1,m_2,...,m_N \right \} ^T \\ m_1=(1+3+2)/3=2\\ m_2=(2+2+2)/3=2\\ m_3=(3+1+3)/3=2.5\\ m_4=(4+4+4)/3=4\\ M_X=\left \{ 2,3,2.5,4 \right \} ^T MX​=E(X)={m1​,m2​,...,mN​}Tm1​=(1+3+2)/3=2m2​=(2+2+2)/3=2m3​=(3+1+3)/3=2.5m4​=(4+4+4)/3=4MX​={2,3,2.5,4}T
$$C_{X,X}=E\left\{\left(X-M_X\right){\left(X-M_X\right)}^T\right\}=\left[\begin{array}{ccc}{c}_{1,1}& ...& c_{1,N}\\ ...& ...& ...\\ c_{N,1}& ...& c_{N,N}\end{array}\right]$$
$$X-M_X=\left[\begin{array}{ccc}1-2& 3-2& 2-2\\ 2-3& 2-3& 2-3\\ 3-2.5& 1-2.5& 3-2.5\\ 4-4& 4-4& 4-4\end{array}\right]=\left[\begin{array}{ccc}-1& 1& 0\\ -1& -1& -1\\ 0.5& -1.5& 0.5\\ 0& 0& 0\end{array}\right]$$
$${\left(X-M_X\right)}^T=\left[\begin{array}{cccc}-1& -1& 0.5& 0\\ 1& -1& -1.5& 0\\ 0& -1& 0.5& 0\end{array}\right]$$
$c_{i,i}$是$w_i$的方差：
$$\begin{gathered} c_{i,i}=E\left\{\left(w_i-M_{X,i}\right){\left(w_i-M_{X,i}\right)}^T\right\}=E\left\{{\left|w_i-M_{X,i}\right|}^2\right\} \\ {w}_1-M_{X,1}={\left[\begin{array}{ccc}1-2& 3-2& 2-2\end{array}\right]}^T={\left[\begin{array}{ccc}-1& 1& 0\end{array}\right]}^T \\ \left(x_1-M_{X,1}\right){\left(x_1-M_{X,1}\right)}^T=(-1)\ast (-1)+(1)\ast (1)+0\ast 0=2 \\ E\left\{{\left|w_1-M_{X,1}\right|}^2\right\}=2/n=2/3 \end{gathered}$$

在matlab里面是除以样本数减1的差值，即n-1。

$c_{i,j}$是$w_i$和$w_j$的协方差：
$$\begin{gathered} c_{i,j}=E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\} \\ {w}_1-M_{X,1}={\left[\begin{array}{ccc}1-2& 3-2& 2-2\end{array}\right]}^T={\left[\begin{array}{ccc}-1& 1& 0\end{array}\right]}^T \\ {w}_2-M_{X,2}={\left[\begin{array}{ccc}2-3& 2-3& 2-3\end{array}\right]}^T={\left[\begin{array}{ccc}-1& -1& -1\end{array}\right]}^T \\ \left(x_1-M_{X,1}\right){\left(x_2-M_{X,2}\right)}^T=(-1)\ast (-1)+(1)\ast (-1)+0\ast (-1)=0 \\ E\left\{\left(w_i-M_{X,i}\right){\left(w_j-M_{X,j}\right)}^T\right\}=0/n=0 \end{gathered}$$

自相关矩阵

自相关矩阵定义为样本向量与自身的外积的数学期望，其实就是自协方差矩阵不减均值向量就好：
$$R_{X,X}=E\left(X{X}^T\right)=\left[\begin{array}{ccc}{r}_{1,1}& ...& r_{1,N}\\ ...& ...& ...\\ r_{N,1}& ...& r_{N,N}\end{array}\right]$$

$r_{i,i}$是$w_i$的自相关系数：
$$r_{i,i}=E\left\{w_i{w}_i^T\right\}=E\left\{{\left|w_i\right|}^2\right\}$$
$r_{i,j}$是$w_i$和$w_j$的互相关系数：
$$r_{i,j}=E\left\{w_i{w}_j^T\right\}$$
自相关矩阵是复共轭对称的，即为Hermitian矩阵。

这里就不举例了，计算方法都相似~

自相关矩阵与自协方差矩阵的关系

自相关矩阵与自协方差矩阵存在如下关系：
$$C_{X,X}=R_{X,X}-M_X{M}_X^T$$

互协方差矩阵

考虑又一个数据集，样本数量无所谓，但是特征数一定要是N：
Y = { y 1 , y 2 , . . . , y n } T Y=\left \{ y_1,y_2,...,y_n \right \}^T Y={y1​,y2​,...,yn​}T
通过自协方差矩阵的推广，可以得到样本向量$X$与$Y$的互协方差矩阵，定义为：
$$\begin{gathered} M_X=E\left(X\right) \\ {M}_Y=E\left(Y\right) \\ {C}_{X,Y}=E\left\{\left(X-M_X\right){\left(Y-M_Y\right)}^T\right\}=\left[\begin{array}{ccc}{c}_{w_{x1},w_{y1}}& ...& c_{w_{x1},w_{yN}}\\ ...& ...& ...\\ c_{w_{xN},w_{y1}}& ...& c_{w_{xN},w_{yN}}\end{array}\right] \end{gathered}$$
互协方差表示两个向量对应元素减去各自期望，再相乘再做期望。

$\left(X-M_X\right),{\left(Y-M_Y\right)}^T$表示两个零期望的随机序列。

互相关矩阵

通过自相关矩阵的推广，可以得到样本向量$X$与$Y$的互相关矩阵，定义为：
$$R_{X,Y}=E\left(X{Y}^T\right)=\left[\begin{array}{ccc}{r}_{w_{x1},w_{y1}}& ...& r_{w_{x1},w_{yN}}\\ ...& ...& ...\\ r_{w_{xN},w_{y1}}& ...& r_{w_{xN},w_{yN}}\end{array}\right]$$
互相关表示两个向量对应元素相乘的期望。

互相关矩阵与互协方差矩阵的关系

互相关矩阵与互协方差矩阵存在如下关系：
$$C_{X,Y}=R_{X,Y}-M_X{M}_Y^T$$
当样本向量$X$与$Y$的维数不同时，他们的互相关矩阵和互协方差矩阵为非方阵，当他们的维数相同时，他们的互相关矩阵与互协方差矩阵为方阵，但仍不为复共轭对称矩阵。

如果$X$与$Y$这两个序列的期望$E(X)$与$E(Y)$为0，那么互相关矩阵和互协方差矩阵是一样的。

性质

协方差矩阵与互协方差矩阵由如下的性质：
（1）自协方差矩阵是复共轭转置对称的；
（2）线性组合向量$Ax+b$的自协方差矩阵$C_{Ax+b}=C_{Ax}=A{C}_x{A}^T$；
（3）互协方差矩阵不是复共轭转置对称的，但是满足$C_{x,y}=C_{y,x}^T$；
（4）$C_{x_1+x_2,y}=C_{x_1,y}+C_{x_2,y}$；
（5）若随机向量$X$与$Y$具有相同的维数，则$C_{x+y}=C_x+C_{x,y}+C_{y,x}+C_y$;
（6）$C_{Ax,By}=A{C}_{x,y}{B}^T$；

相关系数

自协方差矩阵和互协方差矩阵主要用于描述矩阵各行，列向量之间的相关程度，但由于其元素是自协方差矩阵，互协方差函数的绝对大小，有的时候在衡量相关度的时候并不准确，因而需要引入相关系数的概念，定义为：
$${\rho }_{xy}\stackrel{def}{\Rightarrow }\frac{c_{x,y}}{{\sigma }_x{\sigma }_y}$$
其中， 是随机变量$X$与$Y$的互协方差， ${\sigma }_x^2$与${\sigma }_y^2$则表示$X$与$Y$的方差。由Caucht-Schwartz不等式可以知道$0\le \left|{\rho }_{xy}\right|\le 1$。相关系数${\rho }_{xy}$给出了随机向量$X$与$Y$的相关程度，接近于0说明两个向量的相似度越小，越接近于1说明两个向量的相似度越大。