机器学习——最小二乘法求解线性回归

参考：《机器学习》西瓜书————周志华

以下为个人笔记，不免有很多细节不对之处。仅供参考！

---

1、原理：        

        均方误差MES有非常好的几何意义,它对应了常用的欧几里得距离或简称“欧氏距离”(Euclidean distance).基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method).在线性回归中，最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小.

2、模型分析：

如何确定w和b呢?显然,关键在于如何衡量f(z)与y之间的差别，均方误差(2.2)是回归任务中最常用的性能度量,因此我们可试图让均方误差最小化,即：

 

 然后令式（3.5）（3.6）为零可得到w和b最优解得闭式解：

 

3、利用最小二乘法求解线性回归

关于求偏导过程：

推导手稿：

注意：

1.前面乘以二分之一是对损失函数求导时消除误差评分项的影响

2.,m是一个常数

---

 以上是参考周志华西瓜书