PCA:
把样本点投影到新的坐标系里,使得在这几个维度上的投影值,分散得开(也就是方差大);
步骤:
1. 中心化 (所有样本,每个维度都减去该维度得均值)
2. 求样本协方差矩阵 (因为各个维度得均值都等于0,所以可以把(x[i]-u[i])化简为x[i] )
3. 求该协方差矩阵的所有特征值和对应的特征向量
4. 取最大的k个特征值对应的特征向量们,就是该样本集的主成分们;
5. 把样本映射到k个特征向量上,得到k个新的维度值;点到直线的投影:,因为|u|=1(单位向量), 所以化简为
综上,主成分找到了,数据降维也完成了。
原理推导:
最大方差理论:样本投影到主成分上,方差最大化;
1. 投影后的方差,是所有样本的的均值,因为x经过中心化,所以向量,而的均值也是0向量,所以等价于
2. 把化为, 再把放到中间两项的前面,可把中间两项化成协方差矩阵, 即求解的最大值
3. 现在要求的最大值,且有条件|u|=1, 则视为带约束的最优化问题,可用拉格朗日法求解;(转成-求最小值即可)
4. 拉格朗日法,, L对u求导=0, 得到, 所以是的特征值,u是的特征向量;
5. 4的带入,得到, 等于; 在所有值里选最大的,其对应的特征向量就是使得投影方差最大的主成分;选第2大的,就是使得投影方差第2大的主成分,......
LDA:
用拉格朗日乘子法求带等式约束的最优化问题,清晰易懂;
关键式子:(a和b都是列向量,a是方向向量w, b是样本x或者类别均值向量u)
LDA的目标:最大化(异类样例的均值在目标方向的投影点间距 / 所有类别的同类样本和均值投影到目标方向后的方差之和)
写成...(1), 把分母固定等于1,最小化负分子,用拉格朗日,对w求导=0,解得, 即...(2); ; 所以是特征值时, 式子成立;把(2)带入(1),得J = ; 所以当是最大特征值时,J最大;