最小二乘法解线性回归

本文介绍了最小二乘法,一种通过最小化均方误差来求解线性回归模型的方法。与梯度下降法相比,最小二乘法直接求得全局最小解,但计算复杂;梯度下降则是迭代法,易得局部最小,对初始点敏感。
摘要由CSDN通过智能技术生成

最小二乘法

算法介绍

基于均方误差最小化来进行模型求解的方法称为“最小二乘法(least square method)它的主要思想就是选择未知参数,(a5,b5)(a3,b3)(a1,b1)(a4,b4)(a2,b2)使得理论值与观测值之差的平方和达到最小。

最小二乘法

我们假设输入属性 (特征) 的数目只有一个
在这里插入图片描述

在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧式距离之和最小。
在这里插入图片描述

最小二乘法求解线性回归

求解w和b,使得 E(w)=(y - zi-)最小化的过程,称为线性回归模型的“最小二乘参数估计
将 E(w,6) 分别对w和b求导,可以得到

在这里插入图片描述

令偏导数都为0,可以得到
在这里插入图片描述

梯度下降法和最小二乘法

相同点
本质和目标相同:两种方法都是经典的学习算法,在给定已知数据的前提下利用求导算出一个模型(函数),使得损失函数最小,然后对给定的新数据进行估算预测
不同点
损失函数:梯度下降可以选取其它损失函数,而最小二乘一定是平方损失函数实现方法:最小二乘法是直接求导找出全局最小;而梯度下降是一种迭代法效果:最小二乘找到的一定是全局最小,但计算繁琐,且复杂情况下未必有解;梯度下降迭代计算简单,但找到的一般是局部最小,只有在目标函数是凸函数时才是全局最小:到最小点附近时收敛速度会变慢,且对初始点的选择极为敏感

  • 10
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小程序○

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值