机器学习第三章 线性模型

1.线性回归

 

均方误差也称为平方损失。是回归任务中最常用的性能度量。可以试图让均方误差最小化。

均方误差的几何意义对应了常用的欧几里得距离，简称欧氏距离，

基于均方误差最小化来进行模型求解的方法称为最小二乘法。

在线性回归中，最小二乘法就是试图找到一条直线，让所有样本到直线的欧氏距离之和最小。

梯度下降法的核心，是最小化目标函数 J(θ)，其中θ是模型的参数，θ∈Rd。它的方法是，在每次迭代中，对每个变量，按照目标函数在该变量梯度的相反方向，更新对应的参数值。

理解梯度下降，代价函数等