最小二乘法与梯度下降

最新推荐文章于 2024-04-25 21:57:47 发布

weixin_30802171

最新推荐文章于 2024-04-25 21:57:47 发布

阅读量43

点赞数

文章标签：数据结构与算法

原文链接：http://www.cnblogs.com/alexwcl/archive/2012/05/31/2529311.html

版权

最小二乘法与梯度下降都是基于统计的思想，尽量减小样本的平方误差。

但一般而言梯度下降针对样本平均平方误差（MSE），最小二乘法针对样本总平方误差（SSE）

这里给出一个wiki的简单线性模型来进行最小二乘法的介绍：

线性函数模型

典型的一类函数模型是线性函数模型。最简单的线性式是 $y = x_0 + x_1 t$ ，写成行列式，为

$\min_{x_0,x_1}\left\|\begin{pmatrix}1 & t_1 \\ \vdots & \vdots \\ 1 & t_n \end{pmatrix} \begin{pmatrix} x_0\\ x_1\end{pmatrix} - \begin{pmatrix} y_1 \\ \vdots \\ y_{n}\end{pmatrix}\right\|_{2} = \min_x\|Ax-b\|_2.$

直接给出该式的参数解：

$x_1 = \frac{\sum_{i=1}^n t_iy_i - n \cdot \bar t \bar y}{\sum_{i=1}^n t_i^2- n \cdot (\bar t)^2}$ 和 $x_0 = \bar y - x_1 \bar t$

其中 $\bar t = \frac{1}{n} \sum_{i=1}^n t_i$ ，为t值的算术平均值。也可解得如下形式：

$x_1 = \frac{\sum_{i=1}^n (t_i - \bar t)(y_i - \bar y)}{\sum_{i=1}^n (t_i - \bar t)^2}$

转载于:https://www.cnblogs.com/alexwcl/archive/2012/05/31/2529311.html

weixin_30802171

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
最小二乘法与梯度下降

最小二乘法与梯度下降都是基于统计的思想，尽量减小样本的平方误差。但一般而言梯度下降针对样本平均平方误差（MSE），最小二乘法针对样本总平方误差（SSE）这里给出一个wiki的简单线性模型来进行最小二乘法的介绍：线性函数模型典型的一类函数模型是线性函数模型。最简单的线性式是，写成行列式，为直接给出该式的参数解：和其中，为t值的算术平均值。也可解得如下形式：转...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。