回归分析处理

最新推荐文章于 2024-08-24 11:52:18 发布

红糖果仁沙琪玛

最新推荐文章于 2024-08-24 11:52:18 发布

阅读量649

点赞数

分类专栏：误差理论文章标签：回归数据挖掘人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/K_ZhJ18/article/details/131088653

版权

误差理论专栏收录该内容

5 篇文章 0 订阅

订阅专栏

线性回归

最小二乘法

对于某数据量 $x$ 有呈线性关系的输出量 $y$ ，且 $y=a_{1}x+a_{2}$ ，现有对这些数据量的采集序列 $(x_{1},y_{1}),(x_{2},y_{2}),(x_{3},y_{3})...$ ，这些采集量会存在随机误差 $v_{1},v_{2},v_{3}...$ ，线性回归的目的便是找到保证使误差最小的情况下的回归系数 $a_{1},a_{2 }$ 。

即通过下列方程组求 $min(v_1^2+v_2^2+v_3^2+...)$

$v_{1}=y_{1}-(a_{1}x_{1}+a_{2})\\ v_{2}=y_{2}-(a_{1}x_{2}+a_{2})\\ v_{3}=y_{3}-(a_{1}x_{3}+a_{2})...$

可利用最小二乘法，先获取正规方程：
系数矩阵 $A$ 为

$\begin{bmatrix} x_1&1 \\ x_2 & 1 \\ x_3& 1\\ ... \end{bmatrix}$

误差向量 $V$ 为
$\begin{bmatrix} v_1\\ v_2\\ v_3\\ ... \end{bmatrix}$
回归系数向量 $X$ 为
$\begin{bmatrix} a_1\\ a_2\\ \end{bmatrix}$

输出向量 $Y$ 为
$\begin{bmatrix} y_1\\ y_2\\ y_3\\ ... \end{bmatrix}$

正规方程为 $A^{T}V=0$ ，由于 $V=Y-AX$ ，故 $X=(A^TA)^{-1}A^TY$ 。

由此得到回归系数 $X$ 。对于不等精度测量，只需在误差向量前乘上权值向量 $P$ 即可。

最小二乘法精度估计

最小二乘法所得到的回归系数 $X$ 的精度取决于测量数据集的精度，有不定乘数矩阵

$D=(A^TA)^{-1 }$ ，对于等精度测量所得 $Y$ ，其标准差为 $\sigma$ ，则估计量 $X$ 的协方差为

$D(X)=D\sigma ^2$ ，若为不等精度测量，则 $D=(A^TPA)^{-1}$ 。

对于多元线性回归，仍采用最小二乘法求解。

线性递推回归

上述回归，是基于一次性得到全部测量结果计算的，而在动态测量中，数据数量是逐渐增加的，若需实时进行回归处理，那么每当获得一个新数据便需要及时解出回归方程的新系数，解法如下。

假如已经采集了 $N$ 组数据，那么根据上述正规方程的解法有 $X_N=(A_N^TA_N)^{-1}A_N^TY$ ，此时新加入测量量 $x_{1_{N+1}},x_{2_{N+1}},x_{3_{N+1}}...y_{N+1}$ ，令 $x_{N+1}=(x_{1_{N+1}},x_{2_{N+1}},x_{3_{N+1}}...)$ 则

$k_{N+1}=(1+x_{N+1}^T(X_{N}^TX_N)^{-1}x_{N+1})^{-1}(X_{N}^TX_N)^{-1}x_{N+1}$

$\Delta x=k_{N+1}(y_{N+1}-(x_{N+1}^TX_N))\\ X_{N+1}=X_N+\Delta x$

令 $C_N=(X_N^TX_N)^{-1}$ 则

$\Delta C=-k_{N+1}x_{N+1}^TC_N\\ C_{N+1}=C_N+\Delta C$

红糖果仁沙琪玛

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
回归分析处理

对于某数据量有呈线性关系的输出量，且，现有对这些数据量的采集序列，这些采集量会存在随机误差，线性回归的目的便是找到保证使误差最小的情况下的回归系数。即通过下列方程组求可利用最小二乘法，先获取正规方程：系数矩阵为误差向量为回归系数向量为输出向量为正规方程为，由于，故。由此得到回归系数。对于不等精度测量，只需在误差向量前乘上权值向量即可。
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。