（初学）从协方差到协方差矩阵，再到特征向量和特征值

通俗易懂理解协方差

协方差，可以通俗易懂理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？
你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。

你变大,同时我变小,说明两个变量是反向变化的,这时协方差就是负的。

从数值来看,协方差的数值越大,两个变量同向程度也就越大。反之亦然。

咱们从公式出发来理解一下:

公式简单翻译一下是:如果有x,Y两个变量,每个时刻的"X值与其均值之差"剩以Y值与其均值之差"得到一个乘积,再对这每时刻的乘积求和并求出均值(其实是求"期望" ,但就不引申太多新概念了,简单认为就是求均值了)。

方差和协方差的定义

在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来刻画两个随机变量的相似程度，其中，方差的计算公式为:


在此基础上，协方差的计算公式被定义为：

从方差/协方差到协方差矩阵

特征值和特征向量

定义：

从数学上看，如果向量v与变换A满足

Av=λv

则称向量v是变换A的一个特征向量，λ是相应的特征值。这一等式被称作“特征值方程”。
意思：一个矩阵,左乘一个向量等于一个常数乘这个向量
满足这个条件，v被称为矩阵A的特征向量，λ是A的特征值
举例：

所以(111)为A 的特征向量，3为特征值

特征值和特征向量的作用

特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么
特征值分解是将一个矩阵分解成下面的形式：

其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。

比如说下面的一个矩阵M：

矩阵M，它其实对应的线性变换是下面的形式：

因为这个矩阵M乘以一个向量(x,y)的结果是：

上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短）

当矩阵不是对称的时候，假如说矩阵是下面的样子：

它所描述的变换是下面的样子：

这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。反过头来看看之前特征值分解的式子，分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）
当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

参考链接：

https://www.zhihu.com/question/20852004
https://zhuanlan.zhihu.com/p/37609917
https://jingyan.baidu.com/article/3065b3b68c6bb6becff8a488.html