最小二乘法笔记

最新推荐文章于 2024-05-03 21:23:11 发布

田彼南山

最新推荐文章于 2024-05-03 21:23:11 发布

阅读量926

点赞数 14

文章标签：最小二乘法笔记算法

本文链接：https://blog.csdn.net/weixin_41652700/article/details/137330800

版权

本文介绍了如何将线性回归问题转化为矩阵形式，通过最小二乘法求解参数a和b，以适应多元线性模型。给出了一个二次函数拟合的实际例子，展示了如何计算系数矩阵。

摘要由CSDN通过智能技术生成

资料：https://zhuanlan.zhihu.com/p/653406161

预备知识

1、矩阵的求导

在这里插入图片描述

一、问题

想对一组数据进行线性回归，也就是用一条直线拟合数据（只要可以写成矩阵形式，未必是直线）。

1、变量形式

待拟合直线方程： $y = a x + b$
代价函数（二乘项）： $\frac{1}{2m}\sum_ {i=0}^m[(ax_i+b)-y_i]^2$

2、矩阵形式

待拟合方程： $\left[\begin{array}{c} x_1 & {x_1}^0 \\ x_2 & {x_2}^0 \end{array}\right] \left[\begin{array}{c} a \\ b \end{array}\right] = \left[\begin{array}{c} y_1 \\ y_2 \end{array}\right]$
代价函数： $J = (XA-Y)^T*(XA-Y)$

二、最小二乘法推导

1、拆开代价函数并求导

在这里插入图片描述

2、整理上式

在这里插入图片描述

三、最小二乘法结论

在这里插入图片描述

四、最小二乘法例子

1、问题

待拟合方程： $y=ax^2+bx+c$

数据：

x	y
1	4
2	6.4
3	8
4	8.8

2、计算

$\left[\begin{array}{c} a \\ b \\ c \\ \end{array}\right] ={({ \left[\begin{array}{c} 1 & 1 & 1 \\ 4 & 2 & 1 \\ 9 & 3 & 1 \\ 1 & 4 & 1 \\ \end{array}\right]^T\left[\begin{array}{c} 1 & 1 & 1 \\ 4 & 2 & 1 \\ 9 & 3 & 1 \\ 1 & 4 & 1 \\ \end{array}\right]})}^{-1}\left[\begin{array}{c} 1 & 1 & 1 \\ 4 & 2 & 1 \\ 9 & 3 & 1 \\ 1 & 4 & 1 \\ \end{array}\right]^T\left[\begin{array}{c} 4 \\ 6.4 \\ 8 \\ 8.8 \\ \end{array}\right] = \left[\begin{array}{c} -0.4 \\ 3.6 \\ 0.8 \\ \end{array}\right]$

>> X=[1 1 1; 4 2 1;9 3 1;16 4 1]

X =

     1     1     1
     4     2     1
     9     3     1
    16     4     1

>> Y = [4;6.4;8;8.8]

Y =

    4.0000
    6.4000
    8.0000
    8.8000

>> A = inv(X.'*X)*X.'*Y

A =

   -0.4000
    3.6000
    0.8000