机器学习（补充知识）之最小二乘法

最新推荐文章于 2021-09-28 19:27:56 发布

BUAA_kenny

最新推荐文章于 2021-09-28 19:27:56 发布

阅读量519

点赞数

分类专栏：机器学习文章标签：机器学习最小二乘法

本文链接：https://blog.csdn.net/Zkangsen/article/details/90739901

版权

机器学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

个人学习笔记(欢迎交流指正):

最小二乘法

1.1 最小二乘法简介

百度百科：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

下面以最简单的一元线性回归模型来解释最小二乘法的原理。

1.2 一元线性回归模型

（1）一元线性回归模型一般形式：

f(x) = w*x + b

残差形式为：

$y_{i} = f(x_{i}) = w*x_{i} + b + e_{i}$

$e_{i} = y_{i} - (w*x_{i} + b)$

其中， $e_{i}$ 为样本（ $x_{i}, y_{i}$ ）的误差。

（2）平方损失函数：

在训练集 $T = \left \{ \right.(x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{N}, y_{N})\left. \right \}$ 上, 模型平方损失函数为:

$L(f) = \sum_{i=1}^{N}e_{i}^{2} = \sum_{i = 1}^{N} (\hat{y}_{i} - y_{i})^{2} = \sum_{i = 1}^{N} (w * x_{i} + b - y_{i})^{2}$

1.3 最小二乘法求解

为了使求出的回归模型能够尽可能好的拟合训练样本，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：

        （1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题（有正有负）。
        （2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦（还是要判断正负）。
        （3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性，这种方法对异常值非常敏感。（利用平方误差函数作为最优函数求解其实源自极大似然估计，有兴趣可以自己查一下相关数学背景）

以普通最小二乘法为例，使 L(f) 最小来确定直线， L(f) 可以看做是和的函数，问题转化为极值问题：

求 L(f) 对和的偏导数：

$\frac{\partial L}{\partial w} =2\sum_{i=1}^{N}[(wx_{i}+ b - y_{i}) * x_{i}] = 0$

$\frac{\partial L}{\partial b} =2\sum_{i=1}^{N}[(wx_{i}+ b - y_{i})] = 0$

求得：

$w = \frac{N\sum_{i = 1}^{N}x_{i}y_{i} - \sum_{i=1}^{N}x_{i}\sum_{i=1}^{N}y_{i}}{N\sum_{i=1}^{N}x_{i}^{2} - (\sum_{i=1}^{N}x_{i})^{2}}$

$b = \frac{\sum_{i = 1}^{N}x_{i}^{2}\sum_{i=1}^{N}y_{i} - \sum_{i=1}^{N}x_{i}\sum_{i=1}^{N}x_{i}y_{i}}{N\sum_{i=1}^{N}x_{i}^{2} - (\sum_{i=1}^{N}x_{i})^{2}}$

1.4 最小二乘法矩阵形式推广

BUAA_kenny

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习（补充知识）之最小二乘法

个人学习笔记(欢迎交流指正): 最小二乘法1.1 最小二乘法简介百度百科：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。下面以最简单的一元线性回归模型来...
复制链接

扫一扫