机器学习笔记1后半段

1：Regression-case study

*宝可梦继续：） *

1. how’s the results？
average error on training data——31.9
如何减少误差？
①换个模型：如换成y=b+w1·xcp+w2·（xcp)^2+ w3·(xcp) ^3……
越复杂的模型（仍然是线性）在training data上error下降，在testing data上error上升
根据training data里找最优则找model最复杂的

testing data有先减少后增（甚至爆炸）趋势
model大于4次的时候over fitting
在testing和training的最优之间选择testing的model

2. 如何解决overfitting
隐藏因素：种类的不同影响了学习等
增加隐藏因素：Back to step 1：redesign the model

仍然是linear model，可以选择到底代入哪个种类
得到的error都非常小

还有其他因素，全部加起来，training data error更小了，但是training data爆炸

去掉多余的因素：back to step2： regularization

换loss function
为了选smooth的function（wi）小的：smooth比较可能正确
不用在b上加regularization
λ越大越smooth，但是不要太大，testing会反弹

运用的时候预计error值比average error大