【机器学习】梯度下降法求解线性回归参数

最新推荐文章于 2024-08-28 21:55:30 发布

chaoql

最新推荐文章于 2024-08-28 21:55:30 发布

阅读量1k

点赞数 1

分类专栏：数据科学 # 机器学习

本文链接：https://blog.csdn.net/qq_43510916/article/details/108616818

版权

数据科学同时被 2 个专栏收录

29 篇文章 2 订阅

订阅专栏

机器学习

20 篇文章 0 订阅

订阅专栏

对于一元线性函数：
$y ( x , w ) = w _ { 0 } + w _ { 1 } x$

定义其平方损失函数为：
$\sum _ { i = 1 } ^ { n } \left( y _ { i } - \left( w _ { 0 } + w _ { 1 } x _ { i } \right) \right) ^ { 2 }$

接下来，求平方损失函数 1 阶偏导数：
$\frac { \partial f } { \partial w _ { 0 } } = - 2 \sum _ { i = 1 } ^ { n } \left( y _ { i } - \left( w _ { 0 } + w _ { 1 } x _ { i } \right) \right)$

$\frac { \partial f } { \partial w _ { 1 } } = -2 \sum _ { i = 1 } ^ { n } x _ { i } \left( y _ { i } - \left( w _ { 0 } + w _ { 1 } x _ { i } \right) \right)$
当使用最小二乘法时，我们令 $\frac{\partial f}{\partial w_{0}}=0$ 以及 $\frac{\partial f}{\partial w_{1}}=0$ ，但是梯度下降法求解参数：
$\frac { \partial f } { \partial w _ { 0 } }$

$\frac { \partial f } { \partial w _ { 1 } }$

其中lr为学习率。

python实现:

def ols_gradient_descent(x, y, lr, num_iter):
    """
    参数:
    x -- 自变量数组
    y -- 因变量数组
    lr -- 学习率
    num_iter -- 迭代次数

    返回:
    w1 -- 线性方程系数
    w0 -- 线性方程截距项
    """
    w1=0#随机值
    w0=0
    for i in range(num_iter):#迭代
        y_=w0+w1*x
        w1 -= lr*(-2*sum(x*(y-y_)))
        w0 -= lr*(-2*sum(y-y_))
    return w1, w0

运行测试：

w1_, w0_ = ols_gradient_descent(x, y, lr=0.00001, num_iter=100)
round(w1_,3), round(w0_,3)

输出：(1.264, 0.038)

即为：
$y = 1.264 * x + 0.038$
线性回归方法之所以使用普通最小二乘法来求解，是因为我们可以很方便地求出损失函数的最小值。但是，机器学习中的很多问题，往往会面对非常复杂的损失函数，这些损失函数一般无法直接求得最小值，只能使用迭代方法来求取局部或全局极小值。这也就是我们学习梯度下降等迭代方法的原因。