机器学习笔记2

2：where does the error come from？

1. error来源于？
   bias和variance
   
   2.bias and variation of estimator

• bias
  期望=均值则unbias （一开始就瞄准靶心）
  
  期望≠均值bias （未瞄准靶心）
  model越复杂bias越小（越复杂model set越大，越有可能包含靶心）
• variation
  
  （射出与瞄准点之间的距离）取决于n 的数量，样本越多方差越小
  用比较简单的model则variation很小，比较集中（简单model受到不同data影响较小）
  error来源于bias大就是underfitting
  error来源于variation就是overfitting
  

3. 如何判断是哪个大

• training data不合适——under fitting——重写model，更复杂

• testing data不合适——over fitting——增加data，也可以再加一个regularization****

4. 不要做的事情
   把model放到自己的testing set（最终的testing set应该是实际的）
   自己的testing set有bias
   private set 比public set大一些，public set不可靠
   **应该：**把training set分成 training set 和validation set
   前者判断后者用来训练