机器学习实战之PCA

1.  向量及其基变换

1.1 向量内积

(1)两个维数相同的向量的内积定义如下: 内积运算将两个向量映射为一个实数.

(2) 内积的几何意义

    假设A\B是两个n维向量, n维向量可以等价表示为n维空间中的一条从原点发射的有向线段, 为方便理解, 在这里假设A和B都是二维向量.A=(x1,y1) , B=(x2,y2),在二维平面上A/B可以用两条发自原点的有向线段表示,如下图:

在上图中,从A点向B所在的直线引一条垂线.垂线与B的交点叫A在B上的投影.A与B的夹角是a,则投影的矢量长度为

* 矢量长度可能为负,其绝对值是线段长度. 符号取决于其方向与标准方向相同或相反. 标量长度总是大于等于0,值就是线段的长度.

内积另外一种表示形式:

A和B的内积等于A到B的投影长度乘以B的模.设向量B的模为1的话,则A和B的内积值等于A向B所在直线投影的矢量长度.

1.2 基

(1) 一个二维向量对应二维直角坐标系中从原点出发的一个有向线段, 代数方面, 常使用线段终点的点坐标表示向量, 例如(3,2), 但是一个(3,2)并不能精确的表示一个向量,. 分析可得: "3"实际表示的是向量在x轴上的投影值是3,在y轴的投影值是2, 也就是隐式的引入了一个定义: 以x轴和y轴正方向长度为1的向量为标准. 更具体地,向量(x,y)实际可以表示线性组合:. 此处(1,0)/(0,1)为二维空间中的一组基.

结论: 为了准确描述向量,首先确定一组基,然后给出在基所在的各个直线上的投影值即可.

(2) 任何两个线性无关的二维向量都可以成为一组基.一般假设基的模为1, 例如一组基为,则点(3,2)在新基上的坐标为,形象的从下图中可以观察: