最小二乘法

最小二乘法

一、“最小二乘”命名的由来

最小二乘法是基于均方差最小化进行模型求解的方法，他试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

• 所谓的均方差最小化，用公式表达如下：
  $J=argmin{\sum }_{i=1}^m(f(x_i)-y_i{)}^2$
  其中，$y_i$是精确值，由$f(x_i)$求得的$y$是估计值
• 最小二乘法中的二乘是平方的意思，所以最小二乘法又可叫最小平方法

二、公式推导

最小二乘法的本质思想是使均方差最小，从而求得真值，即$$\sum _{i=1}^m(y-y_i{)}^2最小\Rightarrow 真值y$$这是一个二次函数，对其求导，导数为0时取得最小值：$$令\frac{d}{dy}\sum _{i=1}^m(y-y_i{)}^2=0\Rightarrow y$$

三、线性回归

说到最小二乘法，就不得不说一下机器学习中的线性回归了。因为在线性回归中，我们用“最小二乘法”来拟合曲线。
讲到线性回归，就要说一下线性模型(因为线性回归中“回归”的就是线性模型)。线性模型的基本形式如下：$$f(x)=w^{T}x+b$$我们用最小二乘法来求解线性回归问题实际上就是求解出线性模型公式中的参数$w,b$

线性回归又分单元线性回归和多元线性回归。接下来将分别讲到这两种线性回归。

• 单元线性回归
  数据集D中有m个样本，每个样本只有1个属性
  （1）如何确定$w,b$：$$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$思路：使得均方误差（欧式距离）最小
  基于均方差最小化进行模型求解的方法：最小二乘法（试图找到一条直线，使所有样本到直线上的欧式距离之和最小）
  （2）最小二乘法具体做法：$$\frac{d}{dw}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2=0\Rightarrow w$$$$\frac{d}{db}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2=0\Rightarrow b$$
• 多元线性回归
  数据集D中有m个样本，每个样本都有d个属性$$f(x_i)=w^T{x}_i+b$$ $$令X=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1d}& 1\\ x_{21}& x_{22}& \cdots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& \\ x_{m1}& x_{m2}& \cdots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)，\hat{w}=\left(\begin{array}{c}w\\ b\end{array}\right)，y=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right)$$则$y=X\hat{w}$
  （1）如何确定$\hat{w}$：$$\hat{w}=argmi{n}_{\hat{w}}(y-X\hat{w}{)}^T(y-X\hat{w})$$
  （2）最小二乘法的具体做法：
  $$令\frac{d{E}_{\hat{w}}}{d\hat{w}}=2X^T(X\hat{w}-y)=0$$
  $$\Rightarrow \widehat{w\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$