学点数学(4)-协方差矩阵

（从随机变量讲起）
随机变量x：表示随机试验各种结果的 实值 单值函数，就是说随机变量x是一个函数映射，其取值为标量。

随机变量有离散型和连续型，离散型：抛10次硬币，硬币正面朝上的次数。连续型：某一地区一天内每一时刻的温度。

随机变量的性质由其统计量表示，常用的统计量有随机变量的：均值与方差

离散型随机变量x,取值序列 { x 1 , x 2 , . . . . , x n } \{x_1,x_2,....,x_n\} {x1​,x2​,....,xn​}的均值为：
$$\mu =\frac{1}{n}\sum _{i=1}^n{x}_i$$
均值可以 量化 这个随机变量值 大小。

离散型随机变量x,取值序列 { x 1 , x 2 , . . . . , x n } \{x_1,x_2,....,x_n\} {x1​,x2​,....,xn​}的方差为：
$$\sigma =\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$$
方差表明取值序列的 离散程度。

当分析两个随机变量x,y之间关系的时候，协方差 的概念 由此引出:
两个随机变量取值序列 { x 1 , x 2 , . . . . , x n } \{x_1,x_2,....,x_n\} {x1​,x2​,....,xn​}, { y 1 , y 2 , . . . . , y n } \{y_1,y_2,....,y_n\} {y1​,y2​,....,yn​}之间的协方差：
$$cov(x,y)=\frac{1}{n}\sum _{i=1}^n(x_i-{\mu }_x)(y_i-{\mu }_y)$$

协方差矩阵

我们在实际中，经常会遇到协方差矩阵，给定一个n个$d\ast 1$维的(列)向量数据 { x 1 , x 2 , . . . , x n } \{\bm{x_1},\bm{x_2},...,\bm{x_n}\} {x1​,x2​,...,xn​},这组数据的协方矩阵为:
$$\Sigma =\frac{1}{n}\sum _{i=1}^n（{\mathbf{x}}_{\mathbf{i}}-\mathbf{\mu }）({\mathbf{x}}_{\mathbf{i}}-\mathbf{\mu }{)}^T$$
其中：$\mathbf{\mu }=\frac{1}{n}\sum {\mathbf{x}}_{\mathbf{i}}$

以上协方差矩阵$\Sigma$实际是记录 以向量$\mathbf{x}$各个（d个）维度为随机变量 的d个随机变量之间的协方差。

${\mathbf{x}}_i^j$下标表示第$i$个向量数据，上标表示第$i$个向量的第$j$个分量，则$\Sigma$是一个$d\ast d$的矩阵：
$$\Sigma =\frac{1}{n}\sum \left[\begin{array}{c}{\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1\\ {\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2\\ ...\\ {\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}}\end{array}\right]\ast \left[\begin{array}{cccc}{\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1,& {\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2,& ...,& {\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}}\end{array}\right]$$

$$=\frac{1}{n}\sum \left[\begin{array}{cccc}({\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1)({\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1),& ({\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1)({\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2),& ...,& ({\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1)({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}})\\ ({\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2)({\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1),& ({\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2)({\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2),& ...,& ({\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2)({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}})\\ ...& & & \\ ({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}})({\mathbf{x}}_{\mathbf{i}}^1-{\mathbf{\mu }}^1),& ({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}})({\mathbf{x}}_{\mathbf{i}}^2-{\mathbf{\mu }}^2),& ...,& ({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}})({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}-{\mathbf{\mu }}^{\mathbf{d}})\end{array}\right]$$

在PCA 算法中就需要对样本协方差矩阵进行特征值分解。