2:where does the error come from?
- error来源于?
bias和variance
2.bias and variation of estimator
- bias
期望=均值则unbias (一开始就瞄准靶心)
期望≠均值bias (未瞄准靶心)
model越复杂bias越小(越复杂model set越大,越有可能包含靶心) - variation
(射出与瞄准点之间的距离)取决于n 的数量,样本越多方差越小
用比较简单的model则variation很小,比较集中(简单model受到不同data影响较小)
error来源于bias大就是underfitting
error来源于variation就是overfitting
- 如何判断是哪个大
- training data不合适——under fitting——重写model,更复杂
- testing data不合适——over fitting——增加data,也可以再加一个regularization****
- 不要做的事情
把model放到自己的testing set(最终的testing set应该是实际的)
自己的testing set有bias
private set 比public set大一些,public set不可靠
**应该:**把training set分成 training set 和validation set
前者判断后者用来训练