每天五分钟机器学习：基于梯度下降算法训练多特征线性回归模型

本文重点

在前面的课程中我们学习了多特征的线性回归模型，本文我们将基于梯度下降算法来对多特征模型进行参数学习。其实我们之前学习了单变量的线性回归模型的训练，对于多特征线性回归模型来说，本质上一样的，只不过单变量的线性回归模型只更新一个模型参数θ1，而多特征线性回归模型会一次性更新多个模型参数θ,θi…θj。

多特征线性回归模型的假设函数和损失函数

ℎθ() = θ0 + θ1x1 + θ2x2+…+θjxj

梯度下降

有了损失函数我们自然是要找到损失函数的最小值，那么使用的方式就是梯度下降了

我们将偏导数展开可以得到梯度下降的公式为：

其中x0(i)=1,我们开始初始化选择一系列的参数值θ，然后同时更新θ0、 θ1、θ2……θn,实现梯度下降，从而找到最终的θ，找到最能拟合数据的假设函数,这就是多变量的梯度下降计算过程，这个和单变量的是一样的。

使用梯度下降完成多特征线性回归模型的拟合并没有什么特殊的，就是一次梯度下降同时更新多个模型的参数，每个特征对应一个参数，特征多了，那么模型的参数自然就多了。