【机器学习课程-华盛顿大学】：2 回归 2.6 总结

整体内容总结：

 

一、一元回归

梯度下降：

 

二、多元回归

（1）梯度=0

（2）梯度下降

 

三、性能评估

举例：

 

三种误差：

 

训练误差、真实误差和模型复杂度的关系：

 

预测误差的3个来源：

 

偏差、方差的折中：

 

四、Ridge岭回归：L2正则化解决过拟合

 

五、Lasso回归：L1正则化

坐标下降：

 

六、最近邻和核回归

加权knn：

 

核回归：