【机器学习】最小二乘法的理解

最小二乘法

首先，需要明确的是最小二乘法（Least-square， LS）是一种优化技术（optimization technique），它是用于解决优化问题的，其中，能适用于最小二乘解决的优化问题被称作最小二乘问题（Least-squares problems）。除此之外，像线性规划、梯度下降算法、牛顿法和拟牛顿法、共轭梯度法、拉格朗日成数法以及一些启发式算法如PSO、遗传算法都属于解决优化问题的方法，所以最小二乘法只是作为其中的一种solution method，用于解决一类优化问题。

最小二乘问题

一个最小二乘问题通常是一个没有约束项的优化问题，它的表现形式通常是$a_i^{T}x-b_i$的平方和，其中$a_i^{T}x$常对应与我们建立的机器学习模型的预测值或者估计值，$b_i$则对应真实值。将变量$x$的系数$a_i^T$作为矩阵$A\in R^{k\times n}$的行，这个优化问题的形式可以如下：$$minmizef(x)=||Ax-b|{|}_2^2=\sum _{i=1}^k(a_i^{T}x-b_i{)}^2$$上面的问题可以在时间复杂度$O(k{n}^2)$内解决，但是通常情况下$x$的系数矩阵$A$具有一种稀疏的形式，也就意味着它具有比$n\times k$更少的非零值，所以我们通常解决这个问题时要比时间复杂度$O(k{n}^2)$更低。

最小二乘的拓展

上面的最小二乘是一个简单的形式，所以也称之为普通最小二乘法（Ordinary Least-squares, OLS），为了考虑每一项$a_i^{T}x-b_i$在求和的过程中不同的作用时，接下来引入了加权最小二乘法（Weighted Least-squares, WLS），它的形式是：$$\sum _{i=1}^k{w}_i(a_i^{T}x-b_i{)}^2$$另外的一种应用最小二乘的技巧就是正则化，也就是在最小二乘的基础上加入了额外项，其中最简单的形式如下，也即是加入了$L2$正则项：$$\sum _{i=1}^k(a_i^{T}x-b_i{)}^2+\theta \sum _{i=1}^n{x}_i^2$$额外项作为惩罚项，会惩罚较大的$x$值。关于正则化的问题也可以参考我前面的写的博客：【机器学习】L1、L2正则化项的理解及其在机器学习中的应用
除此之外，均方误差（Mean Squares Errors，MSE）也是一种最小二乘的形式，它作为目标函数相当于等权的加权最小二乘。$$MSE=\frac{1}{k}\sum _{i=1}^k(a_i^{T}x-b_i{)}^2$$

REF

最小均方误差和最小二乘有什么区别？ - etern的回答 - 知乎
Convex Optimization by Stephen Boyd