通信基础 3——矩阵论基础

广义特征向量

如果f不等于0,且存在某个正整数m使得：则称f是A的相对于特征值a的广义特征向量

对比特征值和特征向量：矩阵A的特征值为λ，特征向量为u。即(A-λ) u = 0

协方差和协方差矩阵

参考https://www.cnblogs.com/terencezhou/p/6235974.html

协方差

（1）随机变量的协方差。跟数学期望、方差一样，是分布的一个总体参数。
（2）样本的协方差。是样本集的一个统计量，可作为联合分布总体参数的一个估计。在实际中计算的通常是样本的协方差。

随机变量的协方差

在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。定义如下：

当X，Y是同一个随机变量时，X与其自身的协方差就是X的方差，可以说方差是协方差的一个特例。

由于随机变量的取值范围不同，两个协方差不具备可比性。如X，Y，Z分别是三个随机变量，想要比较X与Y的线性相关程度强，还是X与Z的线性相关程度强，通过cov(X,Y)与cov(X,Z)无法直接比较。定义相关系数η为

通过X的方差var(X)与Y的方差var(Y)对协方差cov(X,Y)归一化，得到相关系数η，η的取值范围是[−1,1]。1表示完全线性相关，−1表示完全线性负相关，0表示线性无关。线性无关并不代表完全无关，更不代表相互独立。

样本的协方差

协方差矩阵

多维随机变量的协方差矩阵

对多维随机变量X=[X1,X2,X3,…,Xn]T，我们往往需要计算各维度两两之间的协方差，这样各协方差组成了一个n×n的矩阵，称为协方差矩阵。协方差矩阵是个对称矩阵，对角线上的元素是各维度上随机变量的方差。我们定义协方差矩阵为Σ，这个符号与求和∑相同，需要根据上下文区分。矩阵内的元素Σij为

样本的协方差矩阵

与上面的协方差矩阵相同，只是矩阵内各元素以样本的协方差替换。样本集合为{x⋅j=[x1j,x2j,…,xnj]T|1⩽j⩽m}，m为样本数量，所有样本可以表示成一个n×m的矩阵。我们以Σ^表示样本的协方差矩阵，与Σ区分。

公式中m为样本数量，x¯为样本的均值，是一个列向量，x⋅j为第j个样本，也是一个列向量。

在写程序计算样本的协方差矩阵时，我们通常用后一种向量形式计算。一个原因是代码更紧凑清晰，另一个原因是计算机对矩阵及向量运算有大量的优化，效率高于在代码中计算每个元素。

需要注意的是，协方差矩阵是计算样本不同维度之间的协方差，而不是对不同样本计算，所以协方差矩阵的大小与维度相同。

很多时候我们只关注不同维度间的线性关系，且要求这种线性关系可以互相比较。所以，在计算协方差矩阵之前，通常会对样本进行归一化，包括两部分：