学习笔记——最小二乘法

最新推荐文章于 2021-01-07 21:24:21 发布

chenwq1988

最新推荐文章于 2021-01-07 21:24:21 发布

阅读量381

点赞数

分类专栏： Ask chenwq 文章标签：数据结构与算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/chenwq1988/article/details/84053573

版权

Ask chenwq 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

1、最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配

2、典型的一类函数模型是线性函数模型。最简单的线性式是 $y = x 0 + x 1 t$ ，写成行列式，为

$\min_{x_0,x_1}\left\|\begin{pmatrix}1 & t_1 \\ \vdots & \vdots \\ 1 & t_n \end{pmatrix} \begin{pmatrix} x_0\\ x_1\end{pmatrix} - \begin{pmatrix} y_1 \\ \vdots \\ y_{n}\end{pmatrix}\right\|_{2} = \min_x\|Ax-b\|_2.$

直接给出该式的参数解：

$x_1 = \frac{\sum_{i=1}^n t_iy_i - n \cdot \bar t \bar y}{\sum_{i=1}^n t_i^2- n \cdot (\bar t)^2}$ 和 $x_0 = \bar y - x_1 \bar t$

其中 $\bar t = \frac{1}{n} \sum_{i=1}^n t_i$ ，为t值的算术平均值。也可解得如下形式：

$x_1 = \frac{\sum_{i=1}^n (t_i - \bar t)(y_i - \bar y)}{\sum_{i=1}^n (t_i - \bar t)^2}$

3、简单线性模型 y = a+ bx 的例子

4、最小二乘是一种最基本的辨识方法，但它具有两方面的缺陷：

当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；
随着数据的增长，将出现所谓的“数据饱和”现象。

针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
学习笔记——最小二乘法

1、最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配2、典型的一类函数模型是线性函数模型。最简单的线性式是y = x0 + x1t，写成行列式，为直接给出该式的参数解：和其中，为t值的算术平均值。也可解得如下形式：3、简单线性模型 y = a+ bx 的例子 4、最小二乘是一种最基本的辨识方法，但它具有两方面的缺陷：当模型噪声...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。