跟我一起机器学习系列文章将首发于公众号:月来客栈,欢迎搜索码关注!
1 线性回归
1.1 目标函数
经过前面多篇文章的介绍,我们知道了什么是线性回归、怎么转换求解问题、如何通过sklearn进行建模并求解以及梯度下降法的原理与推导。同时,在上一篇文章中我们还通过一个故事来交代了最小二乘法的来历,以及误差服从高斯分布的事实。下面这篇文章就来完成两个任务:线性回归的推导以及Python代码的实现
根据前面的介绍,现在我们对线性回归的目标函数做如下定义:设样本为
,对样本的观测(预测)值记为
,则有:
其中
表示第
个样本预测值与真实值之间的误差,
和
均为一个列向量;同时由于误差
服从均值为
的高斯分布,于是有:
于是将
带入
有:
此时请注意看等式
的右边部分(从右往左看),站在
的角度看,显然是随机变量
是服从以