向量内积和基变换

参考： http://blog.codinglabs.org/articles/pca-tutorial.html

引用例子

A⋅B=|A|cos(a)
设向量B的模为1，则A与B的内积值等于A向B所在直线投影的矢量长度
其实就是将B看成是一个基。
比如说原来在（0，1），（1，0）这个基下，（2，3）。
要求在这一组基的坐标，就可以直接内积
写成矩阵的形式就是：

数学表达

一般的，如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个基按行组成矩阵A，然后将向量按列组成矩阵B，那么两矩阵的乘积AB就是变换结果，其中AB的第m列为A中第m列变换后的结果。
$\begin{pmatrix} p_{11} & \dots & p_{1N} \\ p_{21} & \dots & p_{2N} \\ \vdots & & \vdots \\ p_{R1} & \dots & p_{RN}\\ \end{pmatrix}_{R\times N} \begin{pmatrix} a_{11} & \dots & a_{M1} \\ a_{12} & \dots & a_{M2} \\ \vdots & & \vdots \\ a_{1N} & \dots & p_{MN}\\ \end{pmatrix}_{N\times M} \triangleq \begin{pmatrix} p_{1} \\ p_{2} \\ \vdots \\ p_{R} \end{pmatrix} \begin{pmatrix} a_{1} & a_{2} & \dots & a_{M} \end{pmatrix} =\begin{pmatrix} p_{1}a_{1} & p_{1}a_{2} & \dots & p_{1}a_{M} \\ p_{2}a_{1} & p_{2}a_{2} & \dots & p_{2}a_{M} \\ \vdots & \vdots & \ddots & \vdots \\ p_{R}a_{1} & p_{R}a_{2} & \dots & p_{R}a_{M} \end{pmatrix}_{R\times M}$

• 第一个矩阵R个N维向量的基，按行看
• 第二个矩阵M个N维向量，按列看，表示第M个数据
• 两个矩阵相乘的结果：
  
  1. 列解释：
     和第二个矩阵对应，对应的列就是a矩阵在p这个基矩阵下的坐标。
  2. 元素解释：
     比如$p_{1}a_{1}$表示的是$a_{1}$在$p_{1}$这个基方向上的矢量投影

结论

• 两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去

• R是可以小于N的，这样也就实现了降低维度,原来是a矩阵是M个N维的，现在通过R个N维的基矩阵，变成了M个R维

也就是说如果基的数量少于向量本身的维数，则可以达到降维的效果。基的个数可以决定降维后数据的维度。