曲线拟合最小二乘法优缺点_在进行线性回归时，为什么最小二乘法是最优方法？...

最小二乘法不永远是最优的方法。对于不同数据形式和建模需求，需要能自行选择合适的建模方式。本文会对比最小二乘法(MSE)和最小绝对值法(MAE)来比较两者的性质。

两者定义

我们首先来理清楚最小二乘法和最小绝对值法分别是什么。

它们都是用来衡量线性回归模型效果的方式。不同的是，最小二乘法(MSE, Mean Square Error)将误差的平方求和，而最小绝对值法(MAE, Mean Absolute Error)则是把误差的绝对值加起来。在每种方法下使得总体误差衡量最小的被称为最优解。用数学表达式可分别被如下表示：

预测值、真实值和误差的定义。(请大家原谅一下我的手写体)

更直观一些来说，我们可以将单个误差平方后和绝对值后的结果通过函数展现出来。可以看到误差平方是一条抛物线，随着误差绝对值的增大，MSE会加速上升；而误差绝对值是两条直线，误差的单位增长会有相同的MAE增长。这个性质也影响到它们解出来的最优模型的性质。平方变换导致误差加速增长，而绝对值变换是一条直线。

两者差别

正是由于两者对于模型总体误差衡量的差别，导致了两者最终解的不同。

相比于最小绝对值法，最小二乘法有以下的优点：最优解唯一。对于最小二乘法而言，只要自变量不是多重共线性的，解就是唯一的。但是对于最小绝对值法却不是固定的。举例而言，如果我们没有任何自变量(x)，而只用截距去回归。最小二乘法会用平均值作为预测值，而最小绝对值法会得出中位数，而中位数往往是不唯一的。例如当数据