EvoNorms

evolving normalization activation layers

 

本篇文章则通过将正则化层和激活层公式化为一个单独的构建模块，来研究他们的协同设计

 

同时，本文还进行了具有超大batch规格的学习动态过程的可视化。在训练设置相同的情况下，相比BN-RELU和ResNet-50，虽然训练损失较大，但是，EvoNorm-B0展现了更好的泛化性能。在其他所有的情况下，EvoNorm同时实现了优化性能和泛化性能的提升。

 

代码：

https://github.com/lonePatient/EvoNorms_PyTorch/blob/master/models/normalization.py

import torch
import torch.nn as nn
from torch.nn import init
from torch.nn.parameter import Parameter

def instance_std(x, eps=1e-5):
    N,C,H,W = x.size()
    x1 = x.reshape(N*C,-1)
    var = x1.var(dim=-1, keepdim&#