Res-Family: From ResNet to SE-ResNeXt

最新推荐文章于 2024-04-30 22:33:52 发布
最新推荐文章于 2024-04-30 22:33:52 发布
阅读量3.4k 收藏 18
点赞数 3

 

分类: 机器学习,算

Mind Experiment

Q： SE module最终实现上其实是channel wise的scale，这个在数学操作上与BN是一样的。那SE module为什么不能被BN代替呢？ 
A：BN只建模了spatial内的dependency，而SE module不仅建模了spatial dependency还建模了inter-channel的dependency。

 


下图是SE-ResNet, 可以看到SE module被apply到了residual branch上。

 


下图是网络配置，这里FC后边的方括号里面的数表示

和

。

 


最后是效果，可以看到SENet在收敛速度和accuracy上都有提高。

 

 

Implementation Notes

SENet的FC等效于1x1的convolution，可以用conv1x1来代替。 channel wise scale + eltsum可以fuse成channel-wise axpy。

 

 

Excitation: 如下图的绿框。通过一个bottleneck结构来捕捉channel的inter-dependency，从而学到channel的scale factor(或者说是attention factor) 。

SE-ResNet, SE-ResNeXt (2018 Apr)

Paper

Squeeze-And-Excitation Networks

Network Visualization

http://dgschwend.github.io/netscope/#/gist/4a41df70a3c7c41f97d775f991f036e3

Motivation

2017年开始，Google说“Attention is all you need”，天下豪杰竞相响应。2018的很多工作的都是基于Attention机制的进展。这篇文章也可看作其中之一，因为我们可以把SENet看成是channel-wise的attention。如下图，SENet在常规动作后增加了一条专门计算channel-wise scale的branch，然后把得到的值乘到相应的channel上。

 

 

How it works

SENet计算channel-wise attention，分为两个步骤：

Squeeze: 如下图的红框。把每个input feature map的spatial dimension 从H * W squeeze到1。这里是通过global average pooling完成的。

ResNeXt (2017 Apr)

Paper

Aggregated Residual Transformations for Deep Neural Networks

Network Visualization

https://chakkritte.github.io/netscope/#/preset/resnext-50

Motivation

随着deep learning的兴起，视觉识别中的研究已经从feature engineering转向了network engineering，即设计topology。而随着深度的增加，topology中超参数（如卷积核大小，stride，channel数等）越来越多，很难确定。VGG和ResNet的成功表明通过堆叠相同形状的block的方法不仅可以显著减少超参数的数量，而且能取得SOTA的结果，是非常有前途的方向（这个感觉跟分形的想法很类似）。这是方向一。 
而以GoogleNet/GoogleNet-v2/Inception为代表的实践也表明，通过split-transform-merge策略进行精细的网络设计也能达到非常好的结果。这是方向二。

 


ResNeXt的想法是把这两种好的想法揉到一起，看效果会不会更好。“In this paper, we present a simple architecture which adopts VGG/ResNets’ strategy of repeating layers, while exploiting the split-transform-merge strategy in an easy, extensible way.”

The Ways

美来自简单的重复

如果像GoogleNet系那样做split-transform-merge（如上图），因为每个branch都需要设计卷积核的超参，以及branch的深度，所以超参会迅速膨胀。所以，要想个办法，既做了split-transform-merge，有没有多少超参量的增加，这个时候其实还是利用“重复大法”来达成。我们先看一下ResNeXt的设计：

 


可以看到这个结构是一个单元重复32次然后再相加的结果。每个单元是一个bottleneck结构：先把输入feature map 通过1x1卷积embedding到4 channel的feature map，然后做3x3卷积，然后再expand回去。我们把这个结构叫做32x4d的结构。其中32是ResNeXt引入的新的自由度，称为cardinality。ResNeXt的名字也源于此，X指的就是 neXt dimension。最后，不要忘了residual shortcut。

C和d的确定

为了得到与对应的ResNet参数量相当的ResNeXt，我们可以按照如下公式确定ResNeXt block的C和d: 

 

 

 

One more thing

进一步地，通过等效变形，可以把ResNeXt看成是囊括了GoogleNet/grouped convolution/ResNet的一种范型。 这样，ResNeXt论文的层次就超脱了只是ResNet的优化了。

 


上图a是ResNeXt module的原始形式，b是googlenet形式的等价型，c是group convolution的等价型。从性能（速度）的角度看，c的最好。

效果

最后作者给出了top-1 error，可以看到确实有较明显的提升。

 

 

Mind Experiment

ResNeXt从最终实现上来看与ResNet基本相同，唯一区别是residual module中的 3x3 convolution被换成了group convolution。

Another Perspective

We can treat ResNet as a Stacked Boosting Ensemble.

ResNet-v2 (2016 Jul)

Paper

Identity Mappings in Deep Residual Networks

Network Visualization

http://dgschwend.github.io/netscope/#/gist/6a771cf2bf466c5343338820d5102e66

Motivation

When we express ResNet as a general formula: 

 

 

在ResNet中

，所以称为shortcut。 另一个叫法就是highway,因为

的信息在这条路径上可以无衰减地传输，就像一个高速公路一样。但在ResNet中因为

是一个ReLU会损失掉一部分

信息，所以

的无衰减传输只能限于本block, 并不能在整个网络中无衰减地传下去。现在的猜想是：如果我们把

也变成一个identity mapping，这个highway会更加顺畅，效果会不会更好？

 

The Ways

The Importance of Identity Shortcut

作者尝试了很多种方式与identity shortcut作了对比，发现效果都没有identity shortcut好。

 

 

 

 

Proposed Architecture

 


上述结构称为pre-activation Residual Module，因为与以前的Residual Block是CBR（Conv, BN, ReLU）结构，而这个是BRC（BN, ReLU, Conv）结构，activation在conv之前，所以称为pre-activation结构。 
因此，ResNet-v2可以表示为如下形式： 

 

 

即 

，把递归式展开，有： 

 

 

这是一个纯的additive model，比ResNet更像stacked boosting。效果如下图：

 

 

 

Mind Experiment

ResNet-v2 在inference优化上与ResNet有什么不同的地方？ 

有同学会觉得上面的b图中的两个branch因为scaling都是0.5，与原始Residual Block相比只相当于把再乘个0.5, 在数学上是等价的，为啥效果会差很多呢？。这句话对了一半，就单个module而言，确实如此。 
但一旦把module串联起来形成网络，事情发生了质的变化。不失一般性，我们如下形式化constant scaling module(这里为了简化推导我把relu换成了identity，不会影响最终结论)： 

 

 

把递归式展开后为： 

 

 

可以看到与原展开式相比，constant scaling对输入特征进行了指数式衰减，两者是完全不等价的。

Conclusion

Current plain network design impede us pursue bigger representation capability through make network deeper.

How to Solve it

可以通过构造性方法，构造出一个性能至少与对应的浅层模型相等的深度模型。当add-on block输出为0时，这个deeper net的性能与shallower net的性能一致。

 


从函数逼近的角度，假设我们需要逼近函数

, shallower net给出了一个

, 那add-on block可以看作在逼近

, 即残差(residual)，这本质上是残差学习(residual learning)或者是boosting的想法。这也是ResNet的基本想法。

Breakdown

Residule Module

 


the right block is called bottleneck architecture.

 

 

Identity Shortcut and Projection Shortcut

上面的topology图中，实线即表示identity shortcut，虚线即表示projection shortcut. 出现projection shortcut的原因是该module内部的操作改变了feature map的dimension（height, width, channel），我们需要一个projection来match dimension。下图中的f指该模块的输出channel数。

 

 

Tricks

h/w和c的关系是：spatial每做一次1/2 down sample, c就乘以2， 所以 

 

Mind Experiment

对ResNet-50 inference有哪些适用的优化策略？ 

    •  

 

 

Why

Overfit Gradient Vanish checked back propogated diff, also BN can secure this. Conjecture: deep plain nets may have exponentially low convergence rate, which impact the reducing of the training error.

ResNet(2015 Dec)

Paper

Deep Residual Learning for Image Recognition

Network Visualization

https://dgschwend.github.io/netscope/#/preset/resnet-50

Problem Statement

A paradox between neural network depth and its representation capability.

Intuition: 

  • deeper the network, stronger the representation capability

Observation 

  • network performance will degrade while network is deeper
  •  

 

  •  
qq_38462278
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
ResNet的Keras实现
01-22
VGGNet和GoogLeNet等网络都表明有足够的深度是模型表现良好的前提，但是在网络深度增加到一定程度时，更深的网络意味着更高的训练误差。误差升高的原因是网络越深，梯度弥散[还有梯度爆炸的可能性]的现象就越明显，所以在后向传播的时候，无法有效的把梯度更新到前面的网络层，靠前的网络层参数无法更新，导致训练和测试效果变差。所以ResNet面临的问题是怎样在增加网络深度的情况下有可以有效解决梯度消失的问题。ResNet中解决深层网络梯度消失的问题的核心结构是残差网络。
从ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 演进学习总结
沧海明月的博客
02-04 3382
本文主要总结一下最近学习ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 的演进，归纳了一下整个特点，话不多说先上图： 1.ResNet 1.1 结构特点 1.shortcut connection增加了它的信息流动 2.恒等映射，堆叠的非线性层 1.2 当输入、输出通道数不同时 1.将X相对Y缺失的通道直接补零 2. 使用1x1的conv来表示Ws映射 2. DenseNet 2.1结构特点 1. shortcut 连接所有层 2. 信息...
SENet实战详解：使用SE-ReSNet50实现对植物幼苗的分类(3)
最新发布
m0_60635637的博客
04-30 920
3、详细的计算过程首先 F t r F_{tr} Ftr​这一步是转换操作（严格讲并不属于SENet，而是属于原网络，可以看后面SENet和Inception及ResNet网络的结合），在文中就是一个标准的卷积操作而已，输入输出的定义如下表示：​那么这个 F t r F_{tr} Ftr​的公式就是下面的公式1（卷积操作， V c V_{c} Vc​表示第c个卷积核， X s X^{s} Xs表示第s个输入)。​。
带有SE注意力机制的ResNet残差网络构建
wqq112692的博客
01-21 2740
带有SE注意力机制的ResNet残差网络构建
SE-NET se注意力机制应用于ResNet (附代码)
PLANTTHESON的博客
10-25 5102
SE-NET se注意力机制应用于ResNet (附代码)
se-resnet.py
06-01
SE-Resnet注意力机制网络搭建，包含残差网络和全连接层，特征融合构建SE-resnet网络结构
PyTorch-SE-ResNet:SE-ResNet PyTorch版本
05-16
PyTorch-SE-ResNet SE-ResNet PyTorch版本 我将其用于Place365和Challenge AI场景分类。 实作网 SE-ResNet（50、101、152） SE-ResNeXt（50、101、152） 其他框架可以很容易地实现来修改model/model.py 。 Caffe...
pytorch-deeplab-resnet：pytorch中的DeepLab resnet v2模型
02-05
pytorch-deeplab-resnet 模型实现。 deepLab-ResNet的体系结构已完全复制自caffe实现。 该体系结构可在多个比例（1x，0.75x，0.5x）上计算输入图像上的损耗。 在这三个等级上分别计算损失。 除了这3个损失外，在将3...
open-mmlab://resnet50_caffe
12-12
mmlab自带的resnet50源文件，resnet50_caffe-788b5fa3.pth，resnet50_caffe-788b5fa3.pth
Variants-ResNet-Prototxt-Caffe:为ResNet的变体创建prototxt（包括培训和测试）
05-16
ResNet-Prototxt-for-Caffe 该脚本用于创建ResNet（深度残留网络 ）和Pre-Resnet（“深度残留网络中的身份映射”（ ）。 ）在ImageNet或cifar10 / 100（10/100类中的60000 32x32彩色图像， //www.cs.toronto.edu/~...
resnet-18：ResNet-18的回购
02-04
resnet-18：ResNet-18的回购
keras瞎搞系列-从LeNet到SENet——卷积神经网络回顾
Cutepingping的博客
03-08 4466
本文转自：https://zhuanlan.zhihu.com/p/33845247keras瞎搞系列-从LeNet到SENet——卷积神经网络回顾从1998年经典的LeNet，到2012年历史性的AlexNet，之后深度学习进入了蓬勃发展阶段，百花齐放，大放异彩，出现了各式各样的不同网络，包括LeNet、AlexNet、ZFNet、VGG、NiN、Inception v1到v4、Inceptio...
【翻译】Aggregated Residual Transformations for Deep Neural Networks
jokerwu192的博客
07-04 497
Aggregated Residual Transformations for Deep Neural Networks 作者：Saining Xie1 Ross Girshick2 Piotr Dollar2 Zhuowen Tu1 Kaiming He2 1、UC San Diego 2、Facebook AI Research
SUSE Linux 11里Nginx+Resin+JSP+Memcached+MySQL安装配置整合
linking530的专栏
11-19 4634
http://www.ha97.com/5100.html/comment-page-1 PS：因一客户的运营环境需求，需要nginx和resin整合，nginx负责处理静态页面部份，resin负责处理动态JSP部份。Resin是CAUCHO公司的产品，是一个非常流行的application server，对servlet和JSP提供了良好的支持，性能也比较优良，resin自身采用JAV
【Java SE】多线程
IN THE ZONE
04-07 1412
通俗地说： 进程：比如IDEA或者QQ的运行，是程序（任务）的执行过程，持有资源（共享内存、共享文件）和线程； （说明是动态性的，单个文件并不是进程，只有点击文件使程序运行后才发生进程） （进程是资源、线程的载体，脱离了线程谈进程无意义） 线程：比如QQ中的“文字聊天”“收发文件”，所有这些人物都可以理解为线程； 线程的交互：互斥与同步；比方说进程是班级，线程是学生，学生沟通就是线程，学生之间有时...
SE-Resnext网络搭建及预训练模型
qq_35200861的博客
11-15 6137
SE-Resnext预训练 完整代码 # -*- coding: utf-8 -*- import os, torch, glob, time, copy import numpy as np from torch.autograd import Variable from PIL import Image from torchvision import models, transforms...
resnext和SEresnet代码详解（一行一行代码详解）
weixin_45902056的博客
03-07 3246
resnext是由resnet50演变而来，于resnet50的区别就是在卷积块和激活函数之间其增加了bn板块，是为了对数据进行归一化处理，还有就是增加了 import torch from torch import nn import torch import torch.nn as nn class Block(nn.Module): def __init__(self,in_channels, out_channels, stride=1, is_shortcut=False): .
SENet实战详解：使用SE-ReSNet50实现对植物幼苗的分类，从入门到精通的Python进阶学习笔记整理
始飞龙
03-30 896
import torch.nn.parallelimport torch.utils.dataimport torch.utils.data.distributedimport torchvision.transforms as transformsfrom dataset.dataset import SeedlingDatafrom torch.autograd import Variableimport pretrainedmodels3、设置全局参数设置使用GPU，设置学习率、BatchSize、e
在特征通道提升网络性能 --SENet网络详解
panghuzhenbang的博客
05-16 4086
论文地址： 《Squeeze-and-Excitation Networks》 1. 简介 SENet是ImageNet 2017（ImageNet最后一届比赛）的 Image Classification 任务的冠军模型，和ResNet的出现类似，都在很大程度上减小了之前模型的错误率，并且复杂度低，新增参数量和计算量小。 SENet的全称是Squeeze-and-Excitation Networks，中文可以翻译为压缩和激励网络。 SE block并不是一个完整的网络结构，而是一个子结构，可以
TensorFlow-1.15.5 : ResNet50 , fp32和fp16
02-20
ResNet50是一种深度卷积神经网络模型，由50个卷积层组成，用于图像分类任务。fp32和fp16是浮点数的不同精度表示方式。 在TensorFlow 1.15.5中，ResNet50是通过使用tf.keras.applications模块中的ResNet50函数来实现...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值