机器学习基石系列六

过拟合

• 噪声数据和过高的VC维容易造成过拟合
• 过拟合处理：过于拟合训练数据，泛化误差比较大

泛化误差

L1与L2泛化比较

三个学习原则

• 奥卡姆剃刀：简单模型更有效，复杂模型容易过拟合
  

• 抽样偏差:样本抽样不均匀，结果必然偏差（garbage in，garbage out，没有免费的午餐 ）

• 数据驱动
  

Comments