线性拟合笔记之：最小二乘法

最新推荐文章于 2023-01-20 12:02:28 发布

黑条纹的白斑马

最新推荐文章于 2023-01-20 12:02:28 发布

阅读量1.4k

点赞数 1

分类专栏：机器学习文章标签：最小二乘法线性拟合

本文链接：https://blog.csdn.net/u013491950/article/details/85058174

版权

机器学习专栏收录该内容

19 篇文章 1 订阅

订阅专栏

线性拟合之最小二乘法

关于最小二乘法
一元线性回归模型求解
最小二乘实现
- 一元最小二乘法
- 多元线性回归模型

关于最小二乘法

以下是百度百科的解释：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
对于线性拟合，给定的具有线性关系的观测样本，可以通过最小二乘法求解得到线性模型。

一元线性回归模型求解

给定的观测数据：(x1,y1),(x2,y1),(x3,y3)…(xn,yn)，假设其存在着线性关系，线性模型为： $\bar{y} = wx +b$
优化目标函数为： $\sum^{n}_{i=1}(y_{i}-\bar{y_{i}})^{2}$
即标签值和预测值之间的均方误差，所选择的回归模型应该使所有观察值的残差平方和达到最小，也就是 Least square。
将目标函数展开： $\sum _{i=1} ^{n}(y_{i}-(wx_{i} + b)) ^{2}$
$\sum _{i=1} ^{n} (y_{i}-wx_{i}-b) ^{2}$
此时，L是关于w 和 b 的函数，要使 L的值最小，由数学知识可知，可以通过求偏导令为0可解得，即：
$\frac{\partial L}{\partial w} = 2\sum_{i=1}^{n}(y_{i}-wx_{i}-b)(-x_{i})=0$
$\frac{\partial L}{\partial b} = 2\sum_{i=1}^{n}(y_{i}-wx_{i}-b)(-1)=0$

$\frac{\sum_{i=1}^{n}y_{i}-w\sum_{i=1}^{n}x_{i}}{n}$
记: $\bar{y} = \frac{1}{n}\sum_{i=1}^{n}y_{i}$
$\bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_{i}$
则 $\bar{y} - w\bar{x}$
同理可得：
$\frac{\sum_{i=1}^{n}x_{i}y_{i}-n\bar{x}\bar{y}}{\sum_{i=1}^{n}x_{i}^{2}-n\bar{x}^{2}}$
即可求得w,b。

最小二乘实现

一元最小二乘法

由上面的 w 可以看出，整个计算结果依赖于 $\bar{x}$ , $\bar{y}$ , $x_{i}y_{i}$ , $x_{i}^{2}$
python测试代码如下：

import matplotlib.pyplot as plt
import numpy as np
class Least_square:
    weight = 0
    bias = 0

    def get_weight(self):
        return self.weight

    def get_bias(self):
        return self.bias

    def least_square(self,x,y):
        if len(x)!= len(y):
            print('data error')
            return
        x_ = 0
        y_ = 0
        x_mul_y = 0
        x_2 = 0
        n = len(x)
        for i in range(n):
            x_ = x[i] + x_
            y_ = y[i] + y_
            x_mul_y = x[i]*y[i] + x_mul_y
            x_2 = x[i]*x[i] + x_2
        x_ = x_ / n
        y_ = y_ / n
        self.weight = (x_mul_y - n*x_*y_)/(x_2 - n*x_*x_)
        self.bias = y_ - self.weight*x_

    def fun_plot(self):
        data_x = np.linspace(0,10,20)
        data_y = [self.weight * x +self.bias for x in data_x]
        print('y='+str(self.weight)+'x+'+str(self.bias))
        plt.plot(data_x,data_y)
        plt.show()

test = Least_square()
x = np.array([1,2,3,6,1.5,4,7,4.3,9.2])
y = np.array([2,1.5,4,7,1.8,5.3,8.6,5.6,11])
plt.plot(x,y,'ro')
test.least_square(x,y)
test.fun_plot()

运行结果示例：
在这里插入图片描述
因为最小二乘法是对所有数据进行拟合，寻找到所有点的误差最小的直线，当数据不存在大的异常点时，效果应该是很好的。
如下图，当增加一个明显的异常点（蓝色点）时，拟合的直线会靠向异常点

多元线性回归模型

百度百科：在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

记多元线性回归模型为：
$y = w_{0}+w_{1}x_{i1}+w_{2}x_{i2}+...+w_{p}x_{ip}$
已有的观测数据: $x_{1},y_{1}),(x_{2},y_{2})...(x_{n},y_{n})$ ,其中 $x_{i} = (x_{i1},x_{i2},...,x_{ip})$
最小化残差平方和函数：
$\sum^{n}_{i=1}(y_{i}-\bar{y_{i}})^{2}$
$\sum _{i=1} ^{n}(y_{i}-w_{0}-w_{1}x_{i1}-w_{2}x_{i2}-...-w_{p}x_{ip}) ^{2}$
求偏导：
$\frac{\partial L}{\partial w_{j}} = 2\sum_{i=1}^{n}(y_{i}-w_{0}-w_{1}x_{i1}-w_{2}x_{i2}-...-w_{p}x_{ip})(-x_{ij})=0,j = [1,p]$
$\frac{\partial L}{\partial w_{0}} = 2\sum_{i=1}^{n}(y_{i}-w_{0}-w_{1}x_{i1}-w_{2}x_{i2}-...-w_{p}x_{ip})(-1)=0$

然后写成：
$\left\{ \begin{array}{lr} \sum y_{i}=nw_{0}+ \sum x_{i1}w_{1}+...+\sum x_{ip}w_{p}\\ \sum x_{i1}y_{i} = \sum x_{i1}w_{0}+\sum x_{i1}^{2}w_{1}+...+\sum x_{i1}x_{ip}w_{p} \\ ...\\ \sum x_{ip}y_{i} = \sum x_{ip}w_{0}+\sum x_{ip}x_{i1}w_{1}+...+\sum x_{ip}^{2}w_{p} & \end{array} \right.$
矩阵形式：
$X^{'} X W = X^{'} Y$
$(X'X)^{-1}X'Y$
这是一个通用的形式，管它几元都行。写成这样的形式，用numpy的mat计算就更方便了，代码就更简单了（前段时间的网易笔试题就让编多元最小二乘，哎，自己推半天，还错了，哈哈），数学真的太重要了！！！

（也可按照上面一元的去自己推，不过太麻烦了，三元的我就在草稿纸上写了好多。。。）

参考：1.百度百科

黑条纹的白斑马

关注

1
点赞
踩
18

收藏

觉得还不错? 一键收藏
2
评论
线性拟合笔记之：最小二乘法

线性拟合之最小二乘法关于最小二乘法一元线性回归模型求解最小二乘实现一元最小二乘法关于最小二乘法以下是百度百科的解释：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达...
复制链接

扫一扫