mfc 算方差函数_线性回归（目标函数的推导）

跟我一起机器学习系列文章将首发于公众号：月来客栈，欢迎搜索码关注！

1 线性回归

1.1 目标函数

经过前面多篇文章的介绍，我们知道了什么是线性回归、怎么转换求解问题、如何通过sklearn进行建模并求解以及梯度下降法的原理与推导。同时，在上一篇文章中我们还通过一个故事来交代了最小二乘法的来历，以及误差服从高斯分布的事实。下面这篇文章就来完成两个任务：线性回归的推导以及Python代码的实现

根据前面的介绍，现在我们对线性回归的目标函数做如下定义：设样本为

，对样本的观测（预测）值记为

，则有：

其中

表示第

个样本预测值与真实值之间的误差，

和

均为一个列向量；同时由于误差

服从均值为

的高斯分布，于是有：

于是将

带入

有：

此时请注意看等式

的右边部分（从右往左看），站在

的角度看，显然是随机变量

是服从以