【Interview】GoogLeNet、ResNet、ShuffleNet、MobileNet 文字版

• GoogLeNet（Inception-v1）
  相比AlexNet和VGG，出现了多支路，引入了1×1卷积帮助减少网络计算量

• Inception-v2
  引入Batch Normalization(BN)；5×5卷积使用两个3×3卷积代替

• Inception-v3
  非对称卷积（n×n卷积分割为1×n和n×1两个卷积）;
  new pooling （为了防止信息丢失且不增加计算量，把串联的pooling conv 改为并行的conv、pool然后concat）
  Label smooth

• Inception-v4
  引入ResNet的shortcut思想

• Xception
  Separable Convolution
  normal conv (3×3,256)
  (1×1,256)
  (3×3,1)

• ResNeXt
  引入新维度cardinality

  256d in-(256,1×1,64)-(64,3×3,64)-(64,1×1,256)-sum x-256-d out
  →改为→
  256d in-(256,1×1,4)*32-(4,3×3,4)*32-(4,1×1,256)*32-concat-sum x-256-d out (32 paths 采用相同的卷积参数）
  block depth>3时使用

• PreAct ResNet
  conv-bn-relu-sum x-relu →改为→ bn-relu-conv-bn-relu-conv-sum x

• SENet
  x→(c×h×w)→Global pooling(c×1×1)→fc(c/16×1×1)→fc(c×1×1)