李宏毅《机器学习》P5误差从哪里来

P5误差从哪里来
Due to “bias” and “variance”
简单的模型，variance比较小，复杂的variance比较大。
简单的模型，bias比较大，复杂的bias比较小。

如果error来自于variance比较大，叫做overfitting
如果error来自于bias比较大，叫做underfitting

问题:Model不能适应training data,表示underfitting
解决:重新设计model

1. 添加更多的特征输入
2. 更复杂的模型
   问题:Model能适应training data,但在testing data上有较大error，表示overfitting
   解决:
3. 添加数据
4. 归一化(平滑曲线)

不应该有一个training data，然后直接利用training data产生的错误率选出最好的model
应该，将training data,又分为两部分一部分training,一部分test，通过test选择最好的model
或者，已经选定model3是最好的model，再利用所有的training data在弄一次
或者，N-fold Cross Validation
这是因为真正的testing set可能我们是得不到的