最小二乘法

__TAT__

已于 2023-09-17 11:36:56 修改

阅读量268

点赞数

分类专栏： Data structures and algorithms 文章标签：最小二乘法

于 2023-09-17 11:35:00 首次发布

本文链接：https://blog.csdn.net/weixin_45885074/article/details/132921693

版权

Data structures and algorithms 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Least Square Method

1、相关的矩阵公式
2、线性回归
3、最小二乘法

1、相关的矩阵公式

$\begin{array}{l} Precondit{\rm{i}}on:\xi \in {R^n},A \in {R^{n*n}}\\ \\ i:\frac{{\sigma A\xi }}{{\sigma \xi }} = {A^T}\\ \\ ii:\frac{{\sigma {\xi ^T}A\xi }}{{\sigma \xi }} = {A^T}\xi + A\xi \\ \\ iii:{\left( {AB} \right)^T} = {B^T}{A^T}\\ \\ iv:{\left( {A + B} \right)^T} = {A^T} + {B^T}\\ \\ v:\left\| \xi \right\| = {\xi ^T}\xi \end{array}$

2、线性回归

线性回归（Linear Regression）个人理解大概是说，一组数据基本上服从线性分布。举一个在二维平面中线性回归的例子，如下图所示，我们可以找到一条表达式为 $y = a x + b$ 的直线来大概的拟合这些数据。进而，我们可以用这条直线去预测新输入的点的相应的坐标。那么这种寻找线性方程去拟合数据的方式我们称之为线性回归。
在这里插入图片描述

3、最小二乘法

3.1、损失函数（Loss Function）

在二维平面中，我们可以设这条可以拟合大多数数据的直线的表达式如下:
$h\left( \theta \right) = {\theta _1}{x} + {\theta _2}$
其中 ${{\theta _1}}$ 和 ${{\theta _2}}$ 就是 $y = a x + b$ 中的 $a$ 和 $b$ ，只是换了一种表达而已。
接着，可以求得平面上每一个点在这条直线上对应的坐标（即估计值）：
$\begin{array}{l} {h_1}\left( \theta \right) = {\theta _1}{x_1} + {\theta _2}\\ {h_2}\left( \theta \right) = {\theta _1}{x_2} + {\theta _2}\\ ....\\ {h_n}\left( \theta \right) = {\theta _1}{x_n} + {\theta _2} \end{array}$

再求这些点在直线上的坐标和真实坐标的差的平方，就得到损失函数的表达式。
$L\left( \theta \right) = \sum\limits_{i = 1}^m {{{\left( {{h_i}\left( \theta \right) - f\left( {{x_i}} \right)} \right)}^2}}$
其中 ${f\left( {{x_i}} \right)}$ 则是 ${{x_i}}$ 对应的真实坐标值。
因此，可以通过损失函数 $L\left( \theta \right)$ 来找出适当的 ${{\theta _1}}$ 和 ${{\theta _2}}$ ，使其 ${f\left( {{x_i}} \right)}$ 之间的方差最小。求解方法放在后面讲。

3.2、多维空间的损失函数

在 $m$ 维线性空间中，有 $n$ 个点。其对应的预测方程应该如下：

$\begin{array}{l} {h_1}\left( \theta \right) = {\theta _1}{x_{11}} + {\theta _2}{x_{12}} + ... + {\theta _{m - 1}}{x_{1m - 1}} + {\theta _m}\\ {h_2}\left( \theta \right) = {\theta _1}{x_{21}} + {\theta _2}{x_{22}} + ... + {\theta _{m - 1}}{x_{2m - 1}} + {\theta _m}\\ ...\\ {h_n}\left( \theta \right) = {\theta _1}{x_{n1}} + {\theta _2}{x_{n2}} + ... + {\theta _{m - 1}}{x_{nm - 1}} + {\theta _m} \end{array}$
其中 $n > m$ （方程数量等比未知数多才能有解）。损失函数的表达式依旧如此：
$L\left( \theta \right) = \sum\limits_{i = 1}^m {{{\left( {{h_i}\left( \theta \right) - f\left( {{x_i}} \right)} \right)}^2}}$
那么再将以上的所有变量矩阵化：
在这里插入图片描述
可以得到损失函数的表达式为：
$L\left( \theta \right) = {\left\| {X\theta - F} \right\|^2} = {\left( {X\theta - F} \right)^T}\left( {X\theta - F} \right)$
再展开化简：
$\begin{array}{l} L\left( \theta \right) = {\left\| {X\theta - F} \right\|^2} = {\left( {X\theta - F} \right)^T}\left( {X\theta - F} \right)\\ \\ = \left( {{\theta ^T}{X^T} - {F^T}} \right)\left( {X\theta - F} \right) = {\theta ^T}{X^T}X\theta - {\theta ^T}{X^T}F - {F^T}X\theta + {F^T}F\\ \\ = {\theta ^T}{X^T}X\theta - 2{F^T}X\theta + {F^T}F \end{array}$
根据上文，我们知道化简的目的是为了找到适当的 $\theta$ 使得损失函数 $L\left( \theta \right)$ 最小，而常用的求 $\theta$ 有两种，分别是解析法求解和梯度下降法。

3.3、解析法求解

从高数可以知，当偏导等于零时，该点是极值点（说的不严谨emm）。所以我们直接求偏导，另其为零即可得 $\theta$ 。
$\begin{array}{l} \frac{{\sigma L\left( \theta \right)}}{{\sigma \theta }} = 2{X^T}X\theta - 2{X^T}F = 0\\ \\ \theta = {\left( {{X^T}X} \right)^{ - 1}}{X^T}F \end{array}$
但这种方法要求 ${{{X^T}X}}$ 是可逆的，即行列式不为零or满秩。很多时候这个条件并不成立，所以在机器学习(Machine Learning)中经常用到梯度下降法。

3.4、梯度下降法求解

梯度下降基本思想是先随便取一个 ${\theta _i}$ ，然后带入下式看看损失函数多大，然后再在 ${\theta _i}$ 基础上，取一个稍微小一点或大一点的 ${\theta _j}$ 带入下式，看看此时的损失函数多大。如此往复，找到那个最优的 $\theta$ 的取值。
$L\left( {{\theta _{\rm{i}}}} \right) = {\theta _i}^T{X^T}X{\theta _i} - 2{F^T}X{\theta _i} + {F^T}F$