为了简单化模型我们在损失函数中加入了罚项即l1,l2正则化项,l1更趋向于产生少的特征项而其它特征项为0,l2更趋向于选择更多的项而让这些多的特征项趋近于0,可能思维能力好的大神们都已经有了模型能理解l1稀疏,l2平滑了,而接下来是通过概率函数模型推演来解释的,更加直观
:贝叶斯算法大量应用于机器学习中,魅力之处在于它可以总结过去,推演未来,简直跟人脑一样,而且它的实现相对简单所以朴素贝叶斯是十分重要的概念。在贝叶斯的理论中,你不仅需要现有的数据还需要加入以往的‘经验’,在损失函数中加入l1正则化项其实是默认加入的数据符合拉普拉斯分布,而在损失函数中加入l2正则化项其实是默认加入的数据符合高斯分布,你的模型在加入了这些前鉴的经验之后会更加趋近于现实。我们所要的l1的平滑与稀疏就在这两个分布中,将拉普拉斯密度函数取对数之后得到的一次项|x-u|就是我们常说的l1范式,高斯密度函数取对数得到的二次项(x-u)**2就是l2范式我们绘制并将两个密度函数的图像叠加在一起就可以清晰地看到所谓的l1稀疏,l2平滑了!
从来源的角度解析l1稀疏,l2平滑
最新推荐文章于 2022-09-25 23:28:30 发布