数据降维——主成分分析PCA

一：预备知识
向量

向量的内积与投影：

两个向量A, B 内积的计算公式为：$A\blacksquare B=|A||B|cos(\alpha )$
1）向量内积的几何解释就是：向量A在向量B上的投影长度（$|A|cos(\alpha )$）乘以向量B的模
特别的，如果一个向量如a是某个坐标轴的单位向量，那么两个向量的内积$a\blacksquare b$就是向量在此坐标轴上的坐标值。
2）从内积的数值上我们可以看出两个向量在方向上的接近程度。当内积为正值时，两个向量大致指向相同的方向（方向夹角小于90度）；当内积为负值时，两个向量大致指向相反的方向；当内积值为0时，两个向量互相垂直。
（这个后面用于协方差和相关性的说明）

基与基变换：
1、定义：设$F^n的非空子集V是F上的向量空间，如果V中的(有序)向量组{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m线性表示满足$
（1）${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m线性无关；$
（2）$V中的向量都可由{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m线性表示,$

$那么，称向量组{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m是V的一个基.$

要准确的描述向量，首先要确定一组基（坐标轴，本质上也是一个向量），向量在各个坐标轴上的投影可以来定量的表示这个向量。

基变换的矩阵表示：

假设矩阵A的每一行代表一个向量空间的一个基，那么如果一个向量a在原来的向量空间其坐标值为$(a_1,a_2,a_3\dots \dots a_n)$,那么换算到新的向量空间后a的坐标值为：Aa 即：该向量a向矩阵A的每一行做投影。（此时暂时假设A的每一行都是单位向量）

可以看出基变换与矩阵内积是紧密相关的

注意上面的基变换操作变换前后向量a的维度是没有减少的，但是变换前后的向量空间的维度是不是可以不一致呢？（变换后的向量空间维度减少），这就是下面要讨论的数据降维问题。

方差与协方差：

首先在提到方差和协方差的时候，需要对其进一步区分：1）随机变量的方差和协方差 2）样本的方差和协方差
我们机器学习中一般都是指的样本的方差和协方差

样本均值：$\bar{x}=\frac{1}{n}\sum _{i=1}^N{x}_i$

样本方差： S 2 = 1 n − 1 ∑ i = 1 N ( x i − x ˉ ) 2 S^2=\frac{1}{n-1}\displaystyle\sum_{i=1}^{N}(x_i-\bar{x})^2 S2=n−11​i=1∑N​(xi​−