1.PCA最小平方误差理论
问题1:PCA求解的其实是最佳投影方向,既一条直线,这与数学中线性回归问题的目标不谋而合,能否从回归的角度定义PCA的目标并相应的求解问题呢?
答:我们还是从二维空间考虑,上一节求解得到一条直线使得样本点投影到该直线上方差最大,从求解直线的思路出发,很容易联想到线性回归,那么从线性回归出发,去定义PCA的目标,就是在高维空间中,找到一个d维的超平面,使得数据点到这个超平面的距离平方最小。
数据集中每个数据点到d维超平面D的距离为,其中
表示
在超平面D上的投影向量,如果该超平面有d个标准正交基W={w1,w2,......wd}构成,所以
,
注释:
标准是指每个向量的长度为单位长 1 ,
正交是指每两个向量都垂直,
基是指一组向量,用它们可以表示空间中所有向量.
在 n 维空间中,标准正交基就是指这样 n 个向量:a1=(1,0,0,.,0),
a2=(0,1,0,0,.,0),a3=(0,0,1,0,.,0),.
an=(0,0,0,.,0,1) .
如果向量 p 可以表示成 p=x1*a1+x2*a2+.+xn*an ,
那么(x1,x2,x3,.,xn)就叫向量 p 在基{a1,a2,.,an}下的坐标.
坐标与线性运算的关系是:
1、和向量的坐标等于向量坐标的和;
2、差向量的坐标等于向量坐标的差;
3、数乘向量的坐标等于这个数乘以向量的坐标.
举个例子 w1={1,0,0,0}^T x1的映射就是w^T*x1 那么为啥后面有多乘以个w,是为了把行向量变成列向量。(毛病)
所以
那么PCA要优化的目标就变成了
这个条件就是说明是正交基。
由内积性质,( 真的不记得这个公式了)
其中第一项与w无关,是个常数。把x的映射的公式带入可得到第二项为
第三项
中间少了一步,就是当i不等于j的时候wi*wj=0 所以公式化简为i=j的时候,wi*wj=1 所以4.11 推到了4.12
我们发现原来4.12 就是矩阵的迹(对角线元素之和)
所以公式化简成 c 就是第一项的常数项。那么求负数的最小值,就是求正数的最大值,所以
如果我们对W中d个基w1,w2.。。。wd一次求解。就变成了,比如当d=1时,
这就和我们使用最大方差求解最大方差法求解最佳投影方向一样了,是不是。都是用拉格朗日乘子,得到最大值就是协方差的特征向量,w就是对应的特征向量。