维度惩罚

简单说明：

第一个样本集：20个特征可以组成的数据集 2G的容量

第二个样本集：200个特征组成的数据集 20G的容量

 

维度惩罚就是：

如果第一个样本集的特征都是重要特征，他需要的训练数据差不多也够，这样模型所承担的算法时间和准确度比较合适。如果第二个样本集的特征中有些对于模型本身并不是重要特征，而且训练的时间也会增加不止十倍以上的时间，准确度也会下降，泛化能力相反不会比第一个数据集训练出来的模型好，这就是维度惩罚。