最小二乘法（理论）

1100dp

于 2022-07-11 15:19:19 发布

阅读量354

点赞数 1

分类专栏：机器学习文章标签：最小二乘法机器学习线性代数

本文链接：https://blog.csdn.net/qq_44901656/article/details/125722254

版权

机器学习专栏收录该内容

14 篇文章 1 订阅

订阅专栏

最小二乘法理论

代数表示法

多元线性方程：
$f(x) = w_1x_1 + w_2x_2 + ... w_dx_d +b$
令$ w=(w_1,w_2,…w_d), x = (x_1,x_2,…x_d)$，则（1）式可写为 $f(x) = w^Tx+b$

注：w是weight的缩写，代表自变量的权重。

优化目标
$\sum_{i=1}^{m}(f(x_i)-y_i)^2=E(w,b)$
通过偏导为0求得最终结果的最小二乘法求解过程为：
$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \frac{\partial…$

$KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \frac{\partial…$
于是可得
$\frac{\sum^m_{i=1}y_i(x_i-\bar{x}) }{\sum^m_{i=1}x^2_i-\frac{1}{m}(\sum^m_{i=1}x_i)^2 } \tag{5}$

$\frac{1}{m}\sum^m_{i=1}(y_i-wx_i)\tag{6}$

其中， $\bar{x}=\frac{1}{m}\sum_{i=1}^mx_i,x_i为x$ 的均值，并且 $x_i,y_i)$ 代表二维空间中的点。

矩阵表示法

多元线性回归方程
$w_1x_1+w_2x_2+...+w_dx_d+b\tag{7}$
令 $\hat{w}=(w_1,w_2,...,w_d,b),\hat{x}=(x_1,x_2,...x_d,1)$

$\hat w$ ：方程系数所组成的向量，并且我们将自变量系数和截距放到了一个向量中，此处 $\hat w$ 就相当于前例中的a、b组成的向量(a,b)；
$\hat x$ ：方程自变量和1共同组成的向量；

于是，方程可以表示为
$f(x)=\hat{w}*\hat{x}^T \tag{8}$
另外，我们将所有自变量的值放在一个矩阵中，并且和此前A矩阵类似，为了捕捉截距，添加一列全为1的列在矩阵的末尾，设总共有m组取值，则

$\left [\begin{array}{cccc} x_{11} &x_{12} &... &x_{1d} &1 \\ x_{21} &x_{22} &... &x_{2d} &1 \\ ... &... &... &... &1 \\ x_{m1} &x_{m2} &... &x_{md} &1 \\ \end{array}\right]$

对应到前例中的A矩阵，A矩阵就是拥有一个自变量、两个取值的X矩阵。令y为因变量的取值，则有

$\left [\begin{array}{cccc} y_1 \\ y_2 \\ . \\ . \\ . \\ y_m \\ \end{array}\right]$

此时，SSE可表示为：

$X\hat w^T||_2^2 = (y - X\hat w^T)^T(y - X\hat w^T) = E(\hat w)$

根据最小二乘法的求解过程，令 $E(\hat w)$ 对 $\hat w$ 求导方程取值为0，有
$KaTeX parse error: No such environment: equation at position 887: …数，有如下规则： \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \\\frac{\parti…$
进一步可得