EMA

文章目录

Exponential moving average (EMA) 是一个非常有用的trick, 起到加速训练的作用. 近来发现, 该技巧还可以用于提高网络鲁棒性(约1% ~ 2%). EMA的流程很简单, f ( ⋅ ; θ ) f(\cdot;\theta) f(;θ)是我们用于训练的网络, 则在每次迭代结束后进行:
θ ′ = α ⋅ θ ′ + ( 1 − α ) ⋅ θ , \theta' = \alpha \cdot \theta' + (1 - \alpha) \cdot \theta, θ=αθ+(1α)θ,
其中 θ ′ \theta' θ f ′ ( ⋅ ; θ ′ ) f'(\cdot; \theta') f(;θ)网络的参数, f ′ , f f', f f,f的网络初始化是一致的, 另外 f ′ f' f的网络参数的更新仅仅通过上式.

一般情况下, 对抗训练用 f ( ⋅ ; θ ) f(\cdot; \theta) f(;θ)来生成对抗样本, 即
x a d v : = arg ⁡ max ⁡ ∥ x ′ − x ∥ ≤ ϵ L ( f ( x ′ ) , y ) , x_{adv} := \arg \max_{\|x'-x\|\le \epsilon} \mathcal{L}(f(x'),y), xadv:=argxxϵmaxL(f(x),y),
来获得, 而我想的能不能
x a d v : = arg ⁡ max ⁡ ∥ x ′ − x ∥ ≤ ϵ L ( f ′ ( x ′ ) , y ) . x_{adv} := \arg \max_{\|x'-x\|\le \epsilon} \mathcal{L}(f'(x'),y). xadv:=argxxϵmaxL(f(x),y).
背后的直觉是, f ′ f' f相较于 f f f更为平稳, 则由其产生的对抗样本的分布更加稳定, 则 f f f拟合起来会不会更加容易?

我在一个8层的网络上进行测试, 结果不如人意:

设置

modelcifar
datasetCIFAR-10
attackPGD
epsilon8/255
stepsize2/255
steps10
losscross entropy
optimizersgd
momentum0.9
beta10.9
beta20.999
weight_decay2e-4
leaning_rate0.1
learning_policyAT
epochs200
batch_size128
transformdefault
seed1
alpha0.999

结果

AccuracyRobustness
EMA*image-20210509170154880image-20210509170357674
EMAimage-20210509181734805image-20210509181920224
EMA + GroupNormimage-20210517075620892image-20210517075759582

上图中, EMA是原本的逻辑, 可见其的确能加速训练(Shadow表示 f ′ f' f), 虽然最后的结果是降了点, 这主要是参数没调好, 毕竟对抗训练很容易过拟合. 但是我们的直接却完全不起作用, 这让我非常困惑, 因为, 我料想的最差的结果, 也应当是鲁棒性不怎样, 不能精度和鲁棒性都很差, 因为虽然是通过 f ′ f' f生成的对抗样本, 这些对抗样本依旧是满足$|x_{adv} - x|_{\infty} \le 8 /255 $ 的,所以应该是没问题的.

于是我又尝试让 α \alpha α 0 0 0慢慢增加到 0.999 0.999 0.999, 但是结果依然不容乐观. 我料想是batch normalization的问题, 于是换了group normlization:

虽然结果似乎表明我们的直觉完全是错误的, 但是还是体会到了 normalization 的重要性, BN很难应对不同分布.

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值