1:Regression-case study
*宝可梦继续:) *
1. how’s the results?
average error on training data——31.9
如何减少误差?
①换个模型:如换成y=b+w1·xcp+w2·(xcp)^2+ w3·(xcp) ^3……
越复杂的模型(仍然是线性)在training data上error下降,在testing data上error上升
根据training data里找最优则找model最复杂的
testing data有先减少后增(甚至爆炸)趋势
model大于4次的时候over fitting
在testing和training的最优之间选择testing的model
2. 如何解决overfitting
隐藏因素:种类的不同影响了学习等
增加隐藏因素:Back to step 1:redesign the model
仍然是linear model,可以选择到底代入哪个种类
得到的error都非常小
还有其他因素,全部加起来,training data error更小了,但是training data爆炸
去掉多余的因素:back to step2: regularization
换loss function
为了选smooth的function(wi)小的:smooth比较可能正确
不用在b上加regularization
λ越大越smooth,但是不要太大,testing会反弹
运用的时候预计error值比average error大