线性代数——PCA主成分分析计算步骤

本文不会深究原理，如果有时间我会把原理补上，这篇文章主要是讲主成分分析的计算步骤。

在开始详细介绍PCA算法前，我们先来复习一下线性代数中几个重要的概念

线性代数概念复习

向量的内积

假设$\vec{a}=\left[\begin{array}{c}{a}_1\\ a_2\\ ...\\ a_n\end{array}\right]$,$\vec{b}=\left[\begin{array}{c}{a}_1\\ a_2\\ ...\\ a_n\end{array}\right]$
那么
$$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$$

$\vec{a}$的模记为：$|\vec{a}|=\sqrt{\vec{a}\cdot \vec{a}}$
$$\vec{a}\cdot \vec{b}=|\vec{a}||\vec{b}|cos\theta$$
假设$\vec{b}$的模为1，即单位向量，那么$\vec{a}\cdot \vec{b}=|\vec{a}|cos\theta$，实际上，内积就是$\vec{a}$在$\vec{b}$方向上的投影的长度。

如果$\vec{a}\cdot \vec{b}=0$，表示$\vec{a}$和$\vec{b}$正交，也就是线性无关。

基

在线性代数中，基（也称为基底）是描述、刻画向量空间的基本工具。向量空间的基是它的一个特殊的子集，基的元素称为基向量。向量空间中任意一个元素，都可以唯一地表示成基向量的线性组合。如果基中元素个数有限，就称向量空间为有限维向量空间，将元素的个数称作向量空间的维数。

向量空间V的一组向量若满足
1）线性无关
2）V中任一向量可由此向量线性表出，则称该组向量V中的一个基（亦称基底）。
一个向量空间的基有很多，但每个基所含向量个数却是个定数。

例如

上图的一组基是$(1,0)$和$(0,1)$，向量$\vec{a}=(3,2)=3(1,0)+2(0,1)$

假设又有一组新的基$(0.5,0.5)$和$(-0.5,0.5)$，那么原来的向量$\vec{a}$应该怎么表示？

$\vec{a}$在新的基$(0.5,0.5)$上的投影为$(0.5,0.5)\cdot (3,2{)}^T=2.5$，在$(0.5,-0.5)$上的投影为$(-0.5,0.5)\cdot (3,2{)}^T=-0.5$，所以$\vec{a}$在新的基上为$(2.5,-0.5)$
也可以用矩阵计算：
$$\left[\begin{array}{cc}0.5& 0.5\\ -0.5& 0.5\end{array}\right]\left[\begin{array}{c}3\\ 2\end{array}\right]=\left[\begin{array}{c}2.5\\ -0.5\end{array}\right]$$
假设$\left[\begin{array}{c}{p}_1\\ p_2\\ ...\\ p_r\end{array}\right]$是n组新的基，$\left[\begin{array}{cccc}{a}_1& a_2& ...& a_m\end{array}\right]$是m个样本，那么m个样本在n组基表达为：
[ p 1 p 2 . . . p r ] [ a 1 a 2 . . . a m ] = [ p 1 a 1 p 1 a 2 . . . p 1 a m p 2 a 1 p 2 a