从来源的角度解析l1稀疏,l2平滑

为了简单化模型我们在损失函数中加入了罚项即l1,l2正则化项,l1更趋向于产生少的特征项而其它特征项为0,l2更趋向于选择更多的项而让这些多的特征项趋近于0,可能思维能力好的大神们都已经有了模型能理解l1稀疏,l2平滑了,而接下来是通过概率函数模型推演来解释的,更加直观
:贝叶斯算法大量应用于机器学习中,魅力之处在于它可以总结过去,推演未来,简直跟人脑一样,而且它的实现相对简单所以朴素贝叶斯是十分重要的概念。在贝叶斯的理论中,你不仅需要现有的数据还需要加入以往的‘经验’,在损失函数中加入l1正则化项其实是默认加入的数据符合拉普拉斯分布,而在损失函数中加入l2正则化项其实是默认加入的数据符合高斯分布,你的模型在加入了这些前鉴的经验之后会更加趋近于现实。我们所要的l1的平滑与稀疏就在这两个分布中,将拉普拉斯密度函数取对数之后得到的一次项|x-u|就是我们常说的l1范式,高斯密度函数取对数得到的二次项(x-u)**2就是l2范式我们绘制并将两个密度函数的图像叠加在一起就可以清晰地看到所谓的l1稀疏,l2平滑了!在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值