正则化(L1正则化、L2参数正则化)

正则化(L1正则化、L2参数正则化)


正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。
在这里插入图片描述

L1范数正则化

L1范数正则化( L1 regularization 或 lasso )是机器学习(machine learning)中重要的手段,在支持向量机(support vector machine)学习过程中,实际是一种对于成本函数(cost function)求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化(sparsity),从而方便人们提取特征。

L1范数(L1 norm)是指向量中各个元素绝对值之和
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在规则化参数的同时最小化误差(最小二乘法的原理)。最小化误差是为了让模型拟合训练数据,而规则化参数是防止模型过分拟合训练数据。因为参数太多,会导致模型复杂度上升,容易过拟合,也就是训练误差会很小。但训练误差小并不是最终目标,目标是希望模型的测试误差小,也就是能准确的预测新的样本。所以,需要保证模型“简单”的基础上最小化训练误差,这样得到的参数才具有好的泛化性能(也就是测试误差也小),而模型“简单”就是通过规则函数来实现的。另外,规则项的使用还可以约束模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中,强行地让学习到的模型具有人想要的特性,例如稀疏、低秩、平滑等等。

L2参数正则化

主要用来防止模型过拟合,直观上理解就是L2正则化是对于大数值的权重向量进行严厉惩罚。鼓励参数是较小值,如果w小于1,那么 w 2 w^2 w2会更小。

对应的损失函数:
在这里插入图片描述

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值