正则化的引入是为了解决线性回归中过拟合的问题,过拟合直观解释即训练出来的模型复杂度过高,对于当前用于训练的数据集而言预测非常精准,而对于未知数据样本的预测准确率逐渐走低,因此在目标函数中除了Loss Function以外引入了一个惩罚项。
其中惩罚项还可以进一步分为L1范数与L2范数,其中L1范数是趋向于使得一部分参数值w为0,也叫Lasso;L2范数是削弱某些权重的值来纠正,L2相比L1更常用一些。
* 矩阵求导过程略
引入正则项后通过正规方程法直接求解参数w,可见结果中一定可逆,这也是引入正则项后带来的好处。