机器学习基础（二）：降维

一、前言

大量的特征有助于模型对训练样本的拟合，但随着特征空间维度的增加，导致数据稀疏且分布不均匀，出现维度灾难。较高的特征空间维度学习了训练样本中的噪声，即使训练误差较小，但由于产生过拟合，泛化误差有所增加。因此可考虑降维的方式去除噪声，提升模型的泛化能力。除此之外，可以采用降维的方式实现高维数据的可视化、数据的压缩和异常点的检测。

二、主成分分析

1.样本均值和方差

设$x_1,x_2,..,x_N$是取自总体$X_{N\times p}$的样本，其中$x_i$是一个$p$维向量，$x_i={\left(x_{i1},x_{i2},...,x_{ip}\right)}^T$则
$$\begin{array}{rl}{\overline{X}}_{p\times 1}& =\frac{1}{N}\sum _{i=1}^N{X}_i\\ S_{p\times p}^2& =\frac{1}{N-1}\sum _{i=1}^N{\left(X_i-\overline{X}\right)}^2\\ & =<\end{array}$$