1.线性回归的原理
进入一家房产网,可以看到房价、面积、厅室呈现以下数据:
我们可以将价格和面积、厅室数量的关系习得为f(x)=θ0+θ1x1+θ2x2f(x)=θ0+θ1x1+θ2x2,使得f(x)≈yf(x)≈y,这就是一个直观的线性回归的样式。
2.线性回归的一般形式:
有数据集{(x1,y1),(x2,y2),…,(xn,yn)}{(x1,y1),(x2,y2),…,(xn,yn)},其中,xi=(xi1;xi2;xi3;…;xid),yi∈Rxi=(xi1;xi2;xi3;…;xid),yi∈R
其中n表示变量的数量,d表示每个变量的维度。
可以用以下函数来描述y和x之间的关系:
f(x)=θ0+θ1x1+θ2x2+…+θdxd。
均方误差是回归中确定θ值的常用的性能度量,即:
3.线性回归损失函数、代价函数、目标函数
损失函数(Loss Function):度量单样本预测的错误程度,损失函数值越小,模型就越好。
代价函数(Cost Function):度量全部样本集的平均误差。
目标函数(Object Function):代价函数和正则化函数,最终要优化的函数。
4.线性回归的优化方法
梯度下降法
设定初始参数θθ,不断迭代,使得J(θ)J(θ)最小化:
当J为凸函数时,梯度下降法相当于让参数θθ不断向J的最小值位置移动。
梯度下降法的缺陷:如果函数为非凸函数,有可能找到的并非全局最优值,而是局部最优值。
最小二乘法矩阵求解
牛顿法
拟牛顿法
5.代码实现
-
生成数据
-
尝试调用sklearn的线性回归模型训练数据
-
最小二乘法的矩阵求解
-
梯度下降法