协方差及中心矩阵

声明：转载自https://orzyt.cn/posts/centering-matrix/

在求解优化问题时, 经常会涉及到中心矩阵(centering matrix).

---

一、中心矩阵定义

中心矩阵定义：

其中，In为 n 阶单位阵。

其性质及多维随机变量的协方差矩阵计算详细见https://orzyt.cn/posts/centering-matrix/

其他

其他性质详见维基百科: Centering Matrix

二、协方差

协方差的计算 ：

参考之前介绍的https://blog.csdn.net/qq_23100417/article/details/84935692

协方差矩阵距离计算：

文献：Region Covariance: A Fast Descriptor for Detection and Classification

https://blog.csdn.net/u013089961/article/details/49871253

1. 计算图像的特征矩阵

I表示原图像，可以是灰度图也可以是彩色图。I的大小为W*H，令d为特征维度，那么F的维度为W*H*d。提取的特征可以是亮度、颜色、梯度、滤波响应等等的级联。

2. 计算特征协方差矩阵

说明，使用协方差作为特征的优势：

1.用协方差矩阵来作为区域的描述具有一定鲁棒性，对视角角度以及姿态、光照等的轻微改变有一定的鲁棒性。

2.它是多种特征的融合，展现了它们一定的相关性。协方差矩阵对角元素表明了每种特征的方差，非对角元素表明了它们之间的相关性。

它对个别像素受到噪声干扰的情况也有鲁棒性，因为协方差的计算包含求平均的过程。

3.协方差矩阵并不完全具有旋转、尺度不变性，比如当基本的特征中包含像素点方向信息时，旋转不变性不再适用，尺度不变也是类似的。应该具体问题具体对待选择合适的基本特征。

4.相比于其他特征具有低维度优势；

n为图像中像素总个数，Zk表示第k个像素点的特征，d*1维向量，u为特征的均值，也是d*1维，所以协方差矩阵的维数为d*d，大大降低了特征维度（注：可以理解为与定义的特征维度有关）。

原始特征值维度n*d维，采用直方图b^d，b是每一种特征直方图bins的个数，而采用协方差后仅有d*(d+1)/2个不同的特征值（协方差对称阵的上三角部分元素值个数）

3. 计算协方差的相似度

由于协方差矩阵不属于欧式空间，所以并不能将此特征应用于那些常用的依赖于欧式空间的机器学习方法中，可以依据上式来计算两个特征的相似度，其中

是C1和C2的广义特征值，用下式来计算：

且Xi≠0，是广义特征向量。

距离满足以下对C1、C2的度量条件：

相似度距离越小表明两个特征越相似，当且仅当两个特征相等的时候相似度为0。