最小二乘法的矩阵表达

1 前期准备

为了方便表述，我们先做一些很简单的定义：

假设有一多项式函数：
$$f(x_1,x_2,\cdots ,x_m)=\sum _{i=1}^m{a}_i{x}_i$$
我们将函数中的自变量都提取出来组成一个列向量$x$：
$$x=[x_1,x_2,\cdots ,x_m{]}^T$$
则称$x$为一个向量变元。

如$[x_1,x_2{]}^T$就是$f(x_1,x_2)=x_1+2x_2$的向量变元

此时，如果我们按照向量变元内部的变量排列顺序，依次在每个变量位置填上该变量对应的偏导函数，则就构成了对于函数$f(x_1,x_2,\cdots ,x_m)$进行向量变元$x$的向量求导的结果，即：
$$\frac{\partial f(x_1,x_2,\cdots ,x_m)}{\partial x}=[\frac{\partial f(x_1,x_2,\cdots ,x_m)}{\partial x_1},\frac{\partial f(x_1,x_2,\cdots ,x_m)}{\partial x_2},\cdots ,\frac{\partial f(x_1,x_2,\cdots ,x_m)}{\partial x_m}{]}^T$$
据此，我们对向量求导做出定义：

设$f(x)$是一个关于$x$的函数，其中$x$是向量变元，并且$x=[x_1,x_2,...,x_n{]}^T$

则
$$\frac{\partial f}{\partial x}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n}{]}^T$$
而该表达式也被称为向量求导的梯度向量形式。
$${\nabla }_{x}f(x)=\frac{\partial f}{\partial x}=[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n}{]}^T$$
接下来，我们去证明几个等式，这些等式都将再最小二乘法的矩阵形式推导中用到。

等式一：
$$\frac{\partial a}{\partial x}=0$$
证明：
$$\frac{\partial a}{\partial x}=[\frac{\partial a}{\partial x_1},\frac{\partial a}{\partial x_2},...,\frac{\partial a}{\partial x_n}{]}^T=[0,0,...,0{]}^T$$

等式二：
$$\frac{\partial (x^T\cdot A)}{\partial x}=\frac{\partial (A^T\cdot x)}{\partial x}=A$$
证明：

设$A=[a_1,a_2,...,a_n{]}^T$，则有:
$$\begin{array}{rl}\frac{\partial (x^T\cdot A)}{\partial x}& =\frac{\partial (A^T\cdot x)}{\partial x}\\ & =\frac{\partial (a_1\cdot x_1+a_2\cdot x_2+...+a_n\cdot x_n)}{\partial x}\\ & =\left[\begin{array}{c}\frac{\partial (a_1\cdot x_1+a_2\cdot x_2+...+a_n\cdot x_n)}{\partial x_1}\\ \frac{\partial (a_1\cdot x_1+a_2\cdot x_2+...+a_n\cdot x_n)}{\partial x_2}\\ .\\ .\\ .\\ \frac{\partial (a_1\cdot x_1+a_2\cdot x_2+...+a_n\cdot x_n)}{\partial x_n}\end{array}\right]\\ & =\left[\begin{array}{c}{a}_1\\ a_2\\ .\\ .\\ .\\ a_n\end{array}\right]=A\end{array}$$

等式三：
$$\frac{\partial (x^T\cdot x)}{\partial x}=2x$$
证明：
$$\begin{array}{rl}\frac{\partial (x^T\cdot x)}{\partial x}& =\frac{\partial (x_1^2+x_2^2+...+x_n^2)}{\partial x}\\ & =\left[\begin{array}{c}\frac{\partial (x_1^2+x_2^2+...+x_n^2)}{\partial x_1}\\ \frac{\partial (x_1^2+x_2^2+...+x_n^2)}{\partial x_2}\\ .\\ .\\ .\\ \frac{\partial (x_1^2+x_2^2+...+x_n^2)}{\partial x_n}\end{array}\right]\\ & =\left[\begin{array}{c}2x_1\\ 2x_2\\ .\\ .\\ .\\ 2x_n\end{array}\right]=2x\end{array}$$

此处$x^{T}x$也被称为向量的交叉乘积(crossprod)

等式四：
$$\frac{\partial (x^{T}Ax)}{x}=Ax+A^{T}x$$
证明：

首先：
$$\begin{array}{rl}{X}^{T}AX& =[x_1,x_2,...,x_n]\cdot \left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ...& ...& ...& ...\\ a_{n1}& a_{n2}& ...& a_{nn}\end{array}\right]\cdot [x_1,x_2,...,x_n{]}^T\\ & =[x_1{a}_{11}+x_2{a}_{21}+...+x_n{a}_{n1},x_1{a}_{12}+x_2{a}_{22}+...+x_n{a}_{n2},...,x_1{a}_{1n}+x_2{a}_{2n}+...+x_n{a}_{nn}]\cdot \left[\begin{array}{c}{x}_1\\ x_2\\ .\\ .\\ .\\ x_n\end{array}\right]\\ & =x_1(x_1{a}_{11}+x_2{a}_{21}+...+x_n{a}_{n1})+x_2(x_1{a}_{12}+x_2{a}_{22}+...+x_n{a}_{n2})+...+x_n(x_1{a}_{1n}+x_2{a}_{2n}+...+x_n{a}_{nn})\end{array}$$
令：
$$k(x)=x_1(x_1{a}_{11}+x_2{a}_{21}+...+x_n{a}_{n1})+x_2(x_1{a}_{12}+x_2{a}_{22}+...+x_n{a}_{n2})+...+x_n(x_1{a}_{1n}+x_2{a}_{2n}+...+x_n{a}_{nn})$$
则：
$$\frac{\partial k(x)}{\partial x_1}=(x_1{a}_{11}+x_2{a}_{21}+...+x_n{a}_{n1})+(x_1{a}_{11}+x_2{a}_{12}+...+x_n{a}_{1n})$$
所以：

2 最小二乘法矩阵形式推导过程

假设有一多元线性方程组：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
令$w=[w_1,w_2,...w_d{]}^T$，$x=[x_1,x_2,...x_d{]}^T$，则上式可写为：
$$f(x)=w^{T}x+b$$
但是上式还不够简洁，我们可以令：
$$\begin{gathered} \hat{w}=[w_1,w_2,...,w_d,b{]}^T \\ \hat{x}=[x_1,x_2,...,x_d,1{]}^T \end{gathered}$$
假设现在总共有$m$条观测值（$m>d$），$x^{(i)}=[x_1^{(i)},x_2^{(i)},...,x_d^{(i)}]$，则带入$f(x)$中可构成$m$个方程：

再令：

所以方程组可写作：
$$\hat{X}\cdot \hat{w}=\hat{y}$$
该线性模型也可写作：
$$f(\hat{x})={\hat{w}}^T\cdot \hat{x}$$
我们可建立使误差平方和$SSE$最小的优化模型：
$$\min S(\hat{w})=||y-X\hat{w}|{|}_2^2=(y-X\hat{w}{)}^T(y-X\hat{w})$$
上式中，$||y-X\hat{w}|{|}_2$为向量的2-范数的计算表达式。向量的2-范数计算过程为各分量求平方和再进行开平方。例如$a=[1,-1,]$，则$||a|{|}_2=\sqrt{1^2+(-1{)}^2}=\sqrt{2}$。

我们只需要求得偏导数的零点，即可得到最优解，即最优的$\hat{w}$值，即拟合的参数，即可得拟合的多元函数表达式

在此之前，需要补充两点矩阵转置的运算规则：
$$\begin{gathered} (A-B{)}^T=A^T-B^T \\ (AB{)}^T=B^T{A}^T \end{gathered}$$
对$S(\hat{w})$求导并令其为0即可：
$$\begin{array}{rl}\frac{S(\hat{w})}{\partial \hat{\mathbf{w}}}& =\frac{\partial {||\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}|{|}_2}^2}{\partial \hat{\mathbf{w}}}\\ & =\frac{\partial (\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})}{\partial \hat{\mathbf{w}}}\\ & =\frac{\partial ({\mathbf{y}}^T-{\hat{\mathbf{w}}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}})(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})}{\partial \hat{\mathbf{w}}}\\ & =\frac{\partial ({\mathbf{y}}^T\mathbf{y}-{\hat{\mathbf{w}}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{y}}^T\mathbf{X}\hat{\mathbf{w}}+{\hat{\mathbf{w}}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\hat{\mathbf{w}})}{\partial \hat{\mathbf{w}}}\\ & =0-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+X^{T}X\hat{w}+(X^{T}X{)}^T\hat{w}\\ & =0-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+2{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\hat{\mathbf{w}}\\ & =2({\mathbf{X}}^{\mathbf{T}}\mathbf{X}\hat{\mathbf{w}}-{\mathbf{X}}^{\mathbf{T}}\mathbf{y})=0\end{array}$$
即：
$$X^{T}X\hat{w}=X^{T}y$$
若$X^{T}X$存在逆矩阵，则：
$$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}y$$
这样我们就得到了拟合的$\hat{w}$，至此最小二乘法的推导结束！

3 代码验证

假如有这么一组数据：

$x$	$y$
1	2
3	4

我们要利用最小二乘法得到它的一次线性拟合函数，过程如下：

我们可以知道：
$$\begin{gathered} X=\left[\begin{array}{cc}1& 1\\ 3& 1\end{array}\right] \\ y=\left[\begin{array}{c}2\\ 4\end{array}\right] \end{gathered}$$
需要拟合的参数为：
$$\hat{w}=[w,b{]}^T$$
则：

即拟合出来的函数表达式为：
$$y=x+1$$
Python代码实现：

import numpy as np # 导入numpy库用于相关计算
X = np.array([[1, 1], [3, 1]]) # 矩阵X
y = np.array([2, 4]).reshape(2, 1) # 观察值
result=np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y) # 相关矩阵运算
# 得到的结果中，最后一个值为b，其余从上到下分别为x1的系数，x2的系数......
print("拟合的参数为：",result)

因为CSDN的Markdown编辑器无法正常编译一些公式，所以用了图片，原md文件的网址：https://gitee.com/image111111/image1/raw/master/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E7%9A%84%E7%9F%A9%E9%98%B5%E8%A1%A8%E8%BE%BE.md