正则化

L1损失函数
L 1 = 1 N ∑ i = 1 N ( y i − w T x i ) 2 + C ∣ w ∣ 1 L1=\frac{1}{N}\sum_{i=1}^{N}\left ( y _{i}-w^{T}x_{i}\right )^{2}+C\left | w \right |_{1} L1=N1i=1N(yiwTxi)2+Cw1

  1. L1正则化可产生稀疏模型,具有选择作用在这里插入图片描述
    经过上图观察可以看到,几乎对于很多原函数等高曲线,和某个菱形相交的时候及其容易相交在坐标轴,也就是说最终的结果,解的某些维度及其容易是0,比如上图最终解是: w = ( 0 , x ) w=\left ( 0,x \right ) w=(0,x)这也就是所说的L1更容易得到稀疏解(解向量中0比较多)的原因。
  2. L1正则先验分布服从拉普拉斯分布,具体推导过程如下:在这里插入图片描述
    L2损失函数
    L 1 = 1 N ∑ i = 1 N ( y i − w T x i ) 2 + C ∣ ∣ w ∣ ∣ 2 2 L1=\frac{1}{N}\sum_{i=1}^{N}\left ( y _{i}-w^{T}x_{i}\right )^{2}+C\left | |w \right ||_{2}^{2} L1=N1i=1N(yiwTxi)2+Cw22
    在这里插入图片描述
  3. L1正则化具有避免过拟合作用
  4. L1正则先验分布服从高斯分布,具体推导过程如下:
    在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值