维度灾难6问？

1.特征越多，分类效果越好？

事实证明，特征数量达到某一个阈值时，分类效果会越来越低。

-----引出维度灾难

2.维度灾难造成的直接后果？

过拟合。

3.为什么会造成过拟合？

往往，较少的特征不足以很好拟合本身的数据（不能达到很好的分类效果），所以想要增加特征。

但是，随着特征维度的增加，训练样本在特征空间的密度会呈指数型下降，整个特征空间维度增加会变得越来越稀疏。由于稀疏性，我们更加容易找到一个超平面来实现分类。

换个角度，上述情形，也就好比将高维的分类结果投影到低维空间中，维度越多可能会有好的线性分类效果，但是相当于在低维特征空间中使用非线性分类器，导致分类器把训练数据的噪声也学进去了，在测试集上效果会很差。

4.为什么在特征空间的密度会呈指数型下降？

比如，在1D空间中，10个训练样本