PCA算法
-
PCA算法：主成分分析是一种非监督的降维方法，降维可以做特征筛选，降低训练复杂度。
-
在信号学里，信噪比越大，说明数据质量越好。其中信号有较大的方差，噪声有较小的方差。
-
PCA正好可以借鉴信噪比这一理论，让数据在主轴上的投影方差最大。
方差公式
V ( x ) = 1 m ∑ i = 1 m ( x i − x ‾ ) 2 V(x) = \frac{1}{m} \sum_{i=1} ^ m (x_i - \overline{x})^2 V(x)=m1i=1∑m(xi−x)2
PCA推导
- 求方差最大化，可以令 x ‾ = 0 \overline{x} = 0 x=0
V ( x ) = 1 m ∑ i = 1 m x i 2 V(x) = \frac{1}{m} \sum_{i=1} ^ m x_i ^2 \quad V(x)=m1i=1∑mxi2
- 将所有样本映射到主轴 w = ( w 1 , w 2 ) w = (w_1, w_2) w=(w1,w2)，使 V V V最大,即
V ( x ) = 1 m ∑ i = 1 m ∣ ∣ x i ∣ ∣ 2 V(x) = \frac{1}{m} \sum_{i=1} ^ m || x^i ||^2 \quad V(x)=m1i=1∑m∣∣xi∣∣2
- 样本点$ X^i = (X^{i}_1, X^{i}_2) 到 主 轴 到主轴 到主轴 w = (w_1, w_2) $的距离表示
X i w = ∣ ∣ X i ∣ ∣ ∗ ∣ ∣ w ∣ ∣ ∗ c o s θ X^i w = ||X^i||*||w||*cos \theta \quad Xiw=∣∣Xi∣∣∗∣∣w∣∣∗cosθ
X i w = ∣ ∣ X i ∣ ∣ X^i w = ||X^i|| \quad Xiw=∣∣Xi∣∣
** 损失函数 **
m a x V ( x ) = 1 m ∑ i = 1 m （ X i w ） 2 max \quad V(x) = \frac{1}{m} \sum_{i=1} ^ m （ X^i w ）^2 \quad maxV(x)=m1i=1∑m（Xiw）2
m a x V ( x ) = 1 m ∑ i = 1 m （ X 1 i w 1 + X 2 i w 2 + X 3 i w 3 + … + X n i w n ） 2 max \quad V(x) = \frac{1}{m} \sum_{i=1} ^ m （ X^{i}_1 w_1 + X^{i}_2 w_2 + X^{i}_3 w_3 + … + X^{i}_n w_n）^2 \quad maxV(x)=m1i=1∑m（X1iw1+X2iw2+X3iw3+…+Xniwn）2
m a x V ( x ) = 1 m ∑ i = 1 m （ ∑ j = 1 n X j i w j ） 2 max \quad V(x) = \frac{1}{m} \sum_{i=1} ^ m （ \sum_{j=1} ^ n X^{i}_j w_j ）^2 \quad maxV(x)=m1i=1∑m（j=1∑nXjiwj）2
梯度上升法求最优解
对损失函数求导
∂ V ( x ) ∂ w j = 2 m ( X w ) T X \frac{\partial V (x)}{\partial w_j} = \frac{2}{m} ( X w)^T X \quad ∂wj∂V(x)=m2(Xw)TX
= 2 m X T （ X w ) = \frac{2}{m} X^T （X w) \quad =m2XT（Xw)
欢迎大家交流学习，任何问题都可以留言
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
