特征工程之降维

降维

线性

PCA（不需要标签）：可从两个角度进行理解，最大方差和最小平方误差

最大方差：

在信号处理领域，我们认为信号具有较大方差，噪声具有较小方差，因此我们需要寻找数据中方差较大的方向，即最大化投影方差。

推导过程：原始数据为 { v 1 , v 2 , ⋯   , v n } \{v_1,v_2,\cdots,v_n\} { v1​,v2​,⋯,vn​},经过中心化变为 { x 1 , x 2 , ⋯   , x n } \{x_1,x_2,\cdots,x_n\} { x1​,x2​,⋯,xn​},$\frac{1}{n}{\sum }_{i=1}^n{x}_i=0$,假设投影在向量$w$上，投影后的均值依然为0（$\mu =\frac{1}{n}{\sum }_{i=1}^n{x}_i^{T}w=(\frac{1}{n}{\sum }_{i=1}^n{x}_i^T)w=0$），再根据向量内积的意义（第一个向量在第二个向量上的投影），投影后的方差即为$D(x)=\frac{1}{n}{\sum }_{i=1}^n(x_i^{T}w{)}^2=\frac{1}{n}{\sum }_{i=1}^n(x_i^{T}w{)}^T(x_i^{T}w)=\frac{1}{n}{\sum }_{i=1}^T{w}^T{x}_i{x}_i^{T}w=w^T(\frac{1}{n}{\sum }_{i=1}^n{x}_i{x}_i^T)w$
中间部分 1 n ∑ i = 1 n x i x i T \frac{1}{n}\sum_{i=1}^nx_ix_i^T