【Backbone】IBN-Net

最新推荐文章于 2024-08-19 10:12:09 发布
最新推荐文章于 2024-08-19 10:12:09 发布
阅读量718 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arron_hou/article/details/105903870
版权

IBN-Net

Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net

https://arxiv.org/abs/1807.09441

Xingang Pan1, Ping Luo1, Jianping Shi2, and Xiaoou Tang1

出自商汤, ECCV2018

Question

如何提高backbone更好的泛化性, 使得在模型迁移, 跨域学习等任务仍能有效利用原有模型提取特征的能力.

模型提取特征的能力, 受到外观, 颜色, 风格,光照, 分辨率等因素的影响, 为了提高模型的泛化能力, 可以通过增强卷积神经网络对于外观特征的提取来解决, 诸如增加最大池化, 空洞卷积, 可以提高模型空间变换不变性. 另外一方面, 通过适当扩充数据集, 增加光照变化, 色彩通道变化也可以增强模型的泛化能力.

如果说, 数据域差异过大, 直接迁移就会产生灾难性遗忘, 在单一域训练的模型无法直接应用在另一个域上, 是否可以通过设计深层的网络结构去解决外观的多样性？

Methodology

Instance Normalization (IN)

IN可以学习到图片外观的不变性.

将图片风格转换莫奈(Monet)和梵高(Van Gogh)的样式©, 输入到带有IN 的autoencoder中, 输出的图片风格一致, 利用IN消除了风格对CNN的影响.
在这里插入图片描述

Monet:

在这里插入图片描述

Van Gogh:


Batch Normalization(BN)

BN学习到与内容相关的最重要的某些信息.

IBN-net

  • 蓝条: 同一张图片, CNN对原始风格图片与monet风格图片提特征, 通过KL divergence 计算每一层特征的差异.
  • 橘条: CNN对两个类别的图片提取特征, 通过KL divergence 计算每一层特征的差异.

通过实验发现, 风格的差异集中在网络浅层, 语义的差异集中在网络深层.

所以网络设计的原则:

  1. 为了减少由浅层外观引起的特征差异，同时又不干扰深层的内容区分，我们仅在CNN的浅半部分添加IN层.
  2. 为了在浅层中也保留图像语义信息，我们将原始BN层替换为IN以获得一半的特征，将BN替换为另一一半(IBN-a) 或者在block 输出后接一个IN, 保持原始结构不变(IBN-b).

Achievement


在实验中, IBN-a 对性能有所提升, IBN-b 对模型泛化性提升较为明显.

IBN 是以resnet 为蓝图
IBN-a:

  • 在前三个layer中, 将每个blcok中第一个BN替换为IBN.
    IBN-b:
  • 在模型输入层, 将BN替换为IN.
  • 在前两个个layer中, 将每个blcok中addition后添加IN.

Reference

https://www.cnblogs.com/pprp/p/12657836.html

【YOLOv10改进-注意力机制】Non-Local：基于非局部均值去噪滤波的自注意力模型
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-08 189
卷积和循环神经网络中的操作都是一次处理一个局部邻域，在这篇文章中，作者提出了一个非局部的操作来作为捕获远程依赖的通用模块。受计算机视觉中经典的非局部均值方法启发，我们的非局部操作计算某一位置的响应为所有位置特征的加权和。而且，这个模块可以插入到许多计算机视觉网络架构中去。
极智AI | 从部署的角度看 bn 和 in 算子
极智视界
09-18 717
本文介绍一下从部署角度来看 bn 和 in 的实现与对比。
IBN-Net
大泽之国
08-15 3234
参考 Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net 简介 Instance Normalization在样式迁移领域取得比Batch Normailzation更好的效果，但是在识别分类领域中没有带来提升。本文研究了IN和BN的区别，并成功把二者应用到同一个框架中，提高识别分类的准确度，...
【IBN-Net】
lxh15108010917的博客
06-04 392
本文提出了IBN-Net，这是一种新颖的卷积架构，它显着提高了CNN在一个领域（例如Cityscapes）上的建模能力以及其在另一个领域（例如GTA5）上的泛化能力，而无需微调。IBN-Net将Instance Normalization（IN）和Batch Normalization（BN）作为构建块进行了精心整合，并可以包装到许多先进的深度网络中以提高其性能。
探索IBN-Net：增强学习与泛化能力的新时代CNN模型
最新发布
gitblog_01075的博客
08-19 899
探索IBN-Net：增强学习与泛化能力的新时代CNN模型 IBN-NetInstance-Batch Normalization Networks (ECCV2018)项目地址:https://gitcode.com/gh_mirrors/ib/IBN-Net 项目介绍 IBN-Net，全称Instance-Batch Normalization Network，是一种结合了实例归一化（Inst...
IBN-NET
xys430381_1的专栏
01-16 582
Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net论文笔记 https://blog.csdn.net/sunyao_123/article/details/81294724 IBN-NET要点： 通过将IN和BN的组合提出了IBN-Net,IN主要可以学习视觉表现变化的相关性，例如颜色，风格，真假等。...
IBN-Net 笔记
年轻即出发，
10-13 5729
论文：Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net  Github：https://github.com/XingangPan/IBN-Net   ECCV2018，港中文商汤联合实验室的作品。作者使用该IBN-Net网络以mIoU 86.18% 的成绩，赢得了WAD 2018 Challe...
深度学习经典网络backbone总结
11-21 263
神经网络可以训练，基本解决了深层神经网络训练过程中的梯度消失问题，并给出了系统性的解决方案（两种残差结构），即系统性的让网络变得更“深”了。而让网络变得更“宽”的工作，至今也没有一个公认的最佳方案（）关系，另外两个则是强调每层的输入是前面所有层 feature map 的叠加，反映了 feature map 数量的变化。方法可以减少模型计算量和提高运行速度的同时，还不降低模型的精度，是一种更高效的网络设计方法，同时还能和。，另一种是和最后的输出层相连，以聚合足够好的特征。的网络结构连接对比图，如下图所示。
从IBN-Net到Switchable Whitening：在不变性与判别力之间权衡
Paper weekly
12-16 1541
提升模型跨场景的泛化能力是实际应用不可避免的问题。本文介绍了我们的两个工作对此进行的探索，分别收录于 ECCV 2018 和 ICCV 2019。本文侧重讲述工作背后的思路，希望对读者有...
模型修改之替换骨干网络（backbone）
热门推荐
weixin_44715117的博客
06-16 1万+
说实话这篇文章是没有在计划之内的，但是有读者说让我出一个使用transformer替换其他骨干网络的示例，想了想，最近好像没啥状态的，论文有点看不下去，正好整理一下自己的经验把。说实话替换骨干网络说简单也简单，说麻烦也麻烦，替换骨干网络个人感觉就是一个debug代码匹配输入输出的问题，作为菜鸡的一种能想到的改进模型方式之一，替换骨干网络也不失为一种锻炼自己看懂代码、改代码的能力，废话就到这里，下面开始文章的内容。为什么一些模型能够把其内部的模块进行替换？理由很简单，就是把里面的模块看作一个黑盒子，黑盒子有着
CCIE重认证350-401
stqer的博客
01-04 2577
traffic policing： causes TCP retransmissions when traffic is dropped导致TCP重传时流量下降 introduces no delay and jitter引入无延迟和抖动 drops excessive traffic减少过多的流量 traffic shaping： buffers excessive traffic缓冲过多的流量 introduces delay and jitter引入延迟和抖动 applied on traffic t
resnet101_ibn_a.pth.tar
06-12
resnet101_ibn_a.pth.tar，京东开源的face-reid中行人重识别数据集Market1501-resnet101预训练模型。（由于google云盘下载速度偏慢，所以上传到这里） 此处非常感谢京东与模型的分享者。
resnet50_ibn_a-d9d0bb7b.pth
09-04
fast-reid需要的预训练模型resnet50_ibn_a-d9d0bb7b.pth，需要请自行下载。
IBN-Net.mxnet:IBN-Net的MXNet实现（Resnet-IBN-a，Resnext-IBN-a，Resnext-IBN-b）
03-21
IBN-Net.mxnet IBN-Net的MXNet实现（Resnet-IBN-a，Resnext-IBN-a，Resnext-IBN-b）。 （ Resnet-IBN-a 50,101,152，Resnext-IBN-a 50,101,152，Resnext-IBN-b 50,101,152 ） 这是一个实现IBN-网（RESNET-IBN-A 50101152）在论文中描述的架构提出，平罗，建平石，和晓鸥汤。 ECCV 2018接受了本文。他们凭借此IBN-Net区块赢得了WAD 2018挑战可驾驶区域赛道的第一名。 作者的pytorch实现可在GitHub的中找到。 这是一个实例批处理规范化（IBN）块的说明。 Resnet-IBN-a是根据（b）IBN-a实现的。请注意，我们的Resnet实现遵循“ ”中的“深层残留网络中的身份映射”。它与作者的pytorch版本略有不同。
IBN-Net ResNetIBN的原理以及DSBN的代码
baimenglin的博客
10-19 3910
IBN-Net IBN-Net由《Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net》这篇文章提出。 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年
探索前沿深度学习模型：IBN-Net
gitblog_00065的博客
04-12 354
探索前沿深度学习模型：IBN-Net IBN-NetInstance-Batch Normalization Networks (ECCV2018)项目地址:https://gitcode.com/gh_mirrors/ib/IBN-Net 在当今的计算机视觉领域，深度学习模型如卷积神经网络（CNN）已经取得了显著的进步，特别是在图像识别和分类任务上。 是这样一个创新项目，由Xingang Pa...
[论文阅读]Group Normalization & IBN-Net（ECCV2018）
u010886794的博客
12-14 1106
这里主要介绍两篇ECCV2018的论文，都是关于神经网络层中的normalization归一化的。 目录 《Group Normalization》【ECCV2018】 方法 代码  实验  《Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net》【ECCV2018】 摘要 Instanc...
Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net阅读笔记
qq_36167072的博客
03-11 919
Paper：https://arxiv.org/abs/1807.09441 Code：https://github.com/XingangPan/IBN-Net 文章摘要：卷积神经网络(CNNs)在许多计算机视觉问题上取得了巨大的成功。与现有为提高某一场景的性能设计的CNN不同，论文的IBN-Net显著增强了CNN的建模能力，并且具有较强的泛化能力，可以不经过netuning即可在另一场景取...
yolov5 backbone l-relu激活函数
05-03
在 YOLOv5 中，backbone 网络采用的是 CSPDarknet53 架构，其中包含了多个卷积层。对于这些卷积层，激活函数使用的是 LeakyReLU（LReLU），其定义为： $$ LReLU(x) = \begin{cases} x & \text{if}\ x > 0 \\ \alpha...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值