最小二乘法least-squares

又称最小平方法,一种优化方法,由高斯,勒让德独立提出,但高斯先发现(1809发表),勒让德先发表(1805发表)
最早是因为意大利天文学家皮亚齐发现的1号小行星“谷神星”转到太阳背后,皮亚齐就观测不到了,失去了谷神星的位置。很多天文学家都试图找到位置却无果。德国数学家高斯(1777-1855)根据皮亚齐的观测数据计算出来谷神星的轨道,后来德国的天文学家奥伯斯在高斯预言的时间和星空领域重新找到了谷神星。1809年高斯在其著作《天体运动论》中发表了最小二乘法,还包括了最小二乘的误差分析。
1805年法国大数学家勒让德(在椭圆积分,数论,几何方面都有重大贡献)发表了《计算彗星轨道的新方法》,其附录描述了最小二乘法。勒让德,拉普拉斯,拉格朗日是18-19世纪法国数学界的三驾马车,被称为“3L”。
当时发生了著名的优先权之争,现在也不清楚谁先发明的。因为勒让德没涉及误差分析,而误差分析在现在的数理统计和机器学习中又很重要,所以一般归功于数学王子高斯。

小结;

  1. 用途:给一组数据找一个拟合性最好的最佳匹配的函数;根据拟合函数求未知数据。

  2. 思想:最小化误差的平方和,主要是在最小化超定方程组(方程数比未知数多)的残差(观测值与模型提供的拟合值之间的差距)平方和。

  3. 本质:找一个直线/超平面,使得所有样本点到它的欧式距离之和最小。

  4. 最小二乘方法用于线性回归就是最小二乘参数估计

  5. 它是用线性方法进行回归学习,找到一个预测值。而用线性模型进行分类就要考虑逻辑回归了。


原理推导

线性模型(可解释性好,是非线性模型的基础)试图学习以下预测函数:
y = w 1 x 1 + w 2 x 2 + ⋯ + w n x n + b y=w_1x_1+w_2x_2+\cdots+w_nx_n+b y=w1x1+w2x2++wnxn+b

写成向量形式:
y = w T x + b y=\boldsymbol w^T \boldsymbol x+b y=wTx+b

在这里插入图片描述
前面说了,最小二乘的思想就是最小化误差的平方和,共m个数据,每个数据都是d维的向量(d个特征), y i y_i yi是数据对应的真实值, w T x i + b \boldsymbol {w^Tx_i}+b wTxi+b是函数的拟合值:
y = [ y 1 y 2 ⋮ y m ] \boldsymbol y=\left[\begin{matrix} y_1\\ y_2\\ \vdots\\ y_m \end{matrix} \right] y=y1y2ym
w = [ w 1 w 2 ⋮ w d ] \boldsymbol w=\left[ \begin{matrix} w_1 \\ w_2 \\ \vdots \\ w_d \end{matrix} \right] w=w1w2wd

X = [ x 1 T x 2 T ⋮ x m T ] = [ x 11 x 12 ⋯ x 1 d x 21 x 22 ⋯ x 2 d ⋮ x m 1 x m 2 ⋯ x

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值