李宏毅机器学习笔记--Basic Concept

Error

 Estimator(估算器）

From training data we find f* , f* is an  estimator of 

 Bias and Variance of Estimator 

 

 N比较大时，比较集中；N比较小时，比较分散。

 

 

 

Varience

Simple model is less influenced by the sampled data

 

Bias

 

简单的model有比较大的Bias，复杂的model有比较小的Bias

关键问题：你现在的model是Bias大还是Variance大？

regularization 时可能会伤害到Bias

Model Selection

• There is usually  a trade-off between bias and variance.
• Select a model that balances two kinds of error to minimize total error
• what you should not do :
  • 
  • 使用 交叉验证 来处理上述这种情况
  • 
  •   
  •  注意不要 根据 Testing Set 去调参，因为现在的Testing Set 不一定就是真正的 Testing Set，你根据这个Testing Set 调参会把这个Testing Set 的偏差考虑进去，影响到model。