线性最小二乘法

最新推荐文章于 2021-11-24 18:05:09 发布

英语饲养员

最新推荐文章于 2021-11-24 18:05:09 发布

阅读量1.2k

点赞数 4

分类专栏：机器学习文章标签：线性最小二乘法

本文链接：https://blog.csdn.net/hello071375/article/details/89631465

版权

机器学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

背景：

记得在高中的时候，课本上有一个拟合直线的例子，当时并没有怎么放在心上，到了大学之后，在校比赛和工作学习需要用到，现在做一下记录，也算是温习以前学过的知识，帮助自己加深理解。

正文：

最小二乘法在求解最优化问题时，经常是作为一种有效的数据分析方法，本文主要是阐述线性最小二乘法，我们首先引入一个最经典的例子——拟合直线。

方便计算，给出三个点集合(1, 1)，B(2, 1)，C(3, 2)，很明显这三个点不在一条直线上，按照维基百科的定义是，每个残差项的平方和最小时，此时对应的参数即为最优化参数。

假设直线的方程是： y = a*x + b ，那么残差方程： $\huge L= \sum_{i=1}^{n}((ax_i + b) - y_i) (n = 3)$ ,

带入三个点数据化解 $\huge L= 14a^2 + 3b^2 + 12ab - 18a - 8b + 6$ ，哈哈，这就进入三维空间找最低点过程了，（有兴趣的可以在maltab做图看看），对其微分求导： $\huge \begin{pmatrix} 28 & 12\\ 12& 6 \end{pmatrix} \begin{pmatrix} a\\ b \end{pmatrix} = \begin{pmatrix} 18\\ 8 \end{pmatrix}$ , （如此表达是有原因的，后面矩阵运算揭晓！哈哈），即： $\huge \begin{pmatrix} a = 1/2\\ b = 1/3 \end{pmatrix}$ ,

为了验证答案是否正确，下图是使用 Microsoft Office Excel.exe拟合的图片，

可以看到上图，一毛一样！（从侧面也反映Excel也是通过最小二乘法拟合直线的）。

上面结束了以求导方式来解决做优化问题，在实际应用中，一般数据量都比较庞大，而且也不是拟合直线那么简单，那么矩阵方式就变得很重要了，而且编程也容易实现。

首先表达线性方程组： $\begin{pmatrix} 1 & 1 \\ 2 & 1\\ 3 & 1 \end{pmatrix}\begin{pmatrix} i\\ j \end{pmatrix} = \begin{pmatrix} 1\\ 1\\ 2 \end{pmatrix}$ ，

简写成表达： AX = b，其中A= $\begin{pmatrix} 1 & 1 \\ 2 & 1\\ 3 & 1 \end{pmatrix}$ ，X = $\begin{pmatrix} i \\ j\end{pmatrix}$ ，b = $\begin{pmatrix} 1 \\ 1\\ 2 \end{pmatrix}$ ,