【DeepCV】模型正则化 regularization

Backto DeepCV

regularization 本意就是调整对象(函数等)使其更合乎常态(regular)或平滑,翻译成 正则化 不明所以。我喜欢叫他 抛光。不够雅,但是表意更准确。

regularization 的目的是控制网络的 capacity,以防止 over-fitting.

L2-regularization

最常用的.
为Loss函数引入惩罚项 1 2 λ ω 2 \frac 1 2 \lambda \omega^2 21λω2,前面加入 1 2 \frac 1 2 21 的目的是为了让导数是 λ ω \lambda \omega λω, 而不是 2 λ ω 2\lambda \omega 2λω.
L2-reg 的作用是错峰平谷,不要太突出的刺头权重,保证整体均匀。

Dropout

最常用的。 随机 drop 掉 α \alpha α 个点的网络神经元节点。Drop 来 Drop 去,效果还挺好。很可能是内部相当于多个模型集成了。

L1-regularization

为 Loss 函数引入惩罚项 λ ∣ ω ∣ \lambda \vert \omega \vert λω. 稀疏选择,不重要的权重就push成 0 了。

Max-norm constraints

这个是直接在训练中限定 ∥ ω ∥ ≤ c \Vert \omega\Vert \leq c ωc

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值