维度灾难与过拟合

1、介绍

考虑一个例子，对图片分类为猫、狗两类，通过皮毛的颜色（rgb）设计一个简单的线性分类器：

If 0.5*red+0.3*green+0.2*blue>0.6: 
    return cat;
else:
    return dog;

发现增加更多特征后，分类器的效果并没有变的一直上升，反而特征数量超过一定值时分类器效果下降，即“维度灾难”。

                                       fig1

2、原因

假设有无穷多的猫狗图片，但是由于能力限制只得到10张图片，最终目标是基于这10张图片构建一个分类器，能够对10个样本之外的无限多图片正确分类。

• 单个特征对训练样本分类效果不佳

                                 fig2

• 增加第二个特征仍然不能线性分割