【备忘】加入L2范数正则化后的正规方程求解参数推导过程

正则化的引入是为了解决线性回归中过拟合的问题,过拟合直观解释即训练出来的模型复杂度过高,对于当前用于训练的数据集而言预测非常精准,而对于未知数据样本的预测准确率逐渐走低,因此在目标函数中除了Loss Function以外引入了一个惩罚项。

其中惩罚项还可以进一步分为L1范数与L2范数,其中L1范数是趋向于使得一部分参数值w为0,也叫Lasso;L2范数是削弱某些权重的值来纠正,L2相比L1更常用一些。

 

* 矩阵求导过程略

引入正则项后通过正规方程法直接求解参数w,可见结果中($\mathbf{X}^\mathrm{T}$X+\lambda E)一定可逆,这也是引入正则项后带来的好处。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值