regression:output a scalar
learing rate 学习速度
会停在local minima 不一定能找到global minina 不同的初始值会不同 看人品
倒三角形 偏微分
微分为0的地方,不仅仅是local minima, 还有saddle point,而且还要一些约等于0的地方
这是针对训练集合,主要在意的对测试集合的预测能力
训练集上的效果要比测试集合上的好,这很直觉,因为模型是根据训练集合训练的。
能不能做的更好呢????
选择不同的Model,源于domain knowledge和尝试,需补充,这仍然是一个linear model
比2次稍微好点
换成4次后,模型更复杂,在testing data上的error却变大了
完全变烂了,针对testing data
结论:
说明有其他的决定因素,不只CP
没有domain knowledge 就全部扔下去
平滑:输入有变化,输出变化不大
不需要考虑b,为什么?---它是水平线,对平滑度没有影响