最小二乘法不永远是最优的方法。对于不同数据形式和建模需求,需要能自行选择合适的建模方式。本文会对比最小二乘法(MSE)和最小绝对值法(MAE)来比较两者的性质。
两者定义
我们首先来理清楚最小二乘法和最小绝对值法分别是什么。
它们都是用来衡量线性回归模型效果的方式。不同的是,最小二乘法(MSE, Mean Square Error)将误差的平方求和,而最小绝对值法(MAE, Mean Absolute Error)则是把误差的绝对值加起来。在每种方法下使得总体误差衡量最小的被称为最优解。用数学表达式可分别被如下表示:
预测值、真实值和误差的定义。(请大家原谅一下我的手写体)
更直观一些来说,我们可以将单个误差平方后和绝对值后的结果通过函数展现出来。可以看到误差平方是一条抛物线,随着误差绝对值的增大,MSE会加速上升;而误差绝对值是两条直线,误差的单位增长会有相同的MAE增长。这个性质也影响到它们解出来的最优模型的性质。平方变换导致误差加速增长,而绝对值变换是一条直线。
两者差别
正是由于两者对于模型总体误差衡量的差别,导致了两者最终解的不同。
相比于最小绝对值法,最小二乘法有以下的优点:最优解唯一。对于最小二乘法而言,只要自变量不是多重共线性的,解就是唯一的。但是对于最小绝对值法却不是固定的。举例而言,如果我们没有任何自变量(x),而只用截距去回归。最小二乘法会用平均值作为预测值,而最小绝对值法会得出中位数,而中位数往往是不唯一的。例如当数据