从线代理论到PCA算法（一）

初识PCA方法

百科简介

Principal components analysis，被翻译为主要成分分析法，是重要的降维方法之一。主要用在将多个维度数据进行降维，使之低维度的特征指向某个或某些特定的状态或分类结果。其基本原理是基于方差来提取最有价值的信息，属于无监督问题。

向量的基变换（本部分与线代重复，学过请跳过）

对于直角坐标系下的二维向量，比如（2，1），这个向量有两个基分别是（1，0）和（0，1）两个基的含量分别是2和1，当我们旋转坐标系后就可以将这个坐标变化为（1，0）此时我们看到数据的第二个维度的大小，或者说第二个基底的含量就变成了0，此时这个向量就变成了一维向量，同时单位长度也发生了变化，由1变成了$\sqrt{5}$

这样我们就实现了维度变化。原来的坐标系的基底可以用矩阵表示为($\begin{array}{cc}1& 0\\ 0& 1\end{array}$)新的坐标系的用矩阵表示($\begin{array}{cc}2& -1\\ 1& 2\end{array}$).
这个矩阵的算法可以通过下式计算：
$$(\begin{array}{cc}2& 1\end{array})(\begin{array}{cc}1& 0\\ 0& 1\end{array})=(\begin{array}{cc}2& 1\end{array})=(\begin{array}{cc}1& 0\end{array})\ast M$$
基变换利用线性空间不同基表示同一个向量时，向量本身没有发生变化，变化的只是向量在不同基下坐标值。基变换实现降维后原坐标向量变为稀疏向量，即大部分坐标值变为0，而坐标向量非零部分所对应的基为数据的主要特征部分，基变换的目的就是要找到满足以上条件的基，线性空间不同基之间可以相互转化，转换的过程就是乘以过渡矩阵，过渡矩阵的来源如下：
一般的，我们将转化的过程
$$({\beta }_1,{\beta }_2...{\beta }_n)=({\alpha }_1,{\alpha }_2...{\alpha }_n)\ast M$$
M的一般格式为
$$P=(\begin{array}{ccccc}{a}_{11}& a_{12}& a_{13}& ...& a_{1n}\\ a_{21}& a_{22}& a_{23}& ...& a_{2n}\\ ...& ...& ...& ...& ...\\ a_{n1}& a_{n2}& a_{n3}& ...& a_{nn}\end{array})$$