caffe设置正则化项

今天想在网络中设置一下正则化项,百度了好久,发现caffe中的正则化情况如下:

caffe提供了两种正则化,L1和L2,其中L2正则化项是默认存在的,在caffe.proto中可以找到,如下

// regularization types supported: L1 and L2
  // controlled by weight_decay
  optional string regularization_type = 29 [default = "L2"];

说明caffe默认使用的是L2正则化

那么,我在solver文件中将它设为L1岂不就是L1正则化了。虽然我在网上没有直接的solver文件可以参考,不过试了试,确实是这样子,,,,具体就是在solver文件中加下面一句:

regularization_type: "L1"



还有个点是 weight_decay 是乘在正则化向前面,控制正则化项在损失函数中所占权重的。嗯,刚刚的收获差不多就这些

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值