Improved Residual Networks for Image and Video Recognition 论文理解

最新推荐文章于 2023-02-20 10:01:22 发布
最新推荐文章于 2023-02-20 10:01:22 发布
阅读量534 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40817567/article/details/105686563
版权

这两天读了一下这篇文章，作者大概思路是从三个方面优化

1.ResStage

该方案其实就是结合了original resnet 的block结构和pre-activation resnet的block结构，在一个stage中采用三段式，头和为采用original的结构，中间部分都是采用pre-activation结构
在这里插入图片描述

2.Improved projection shortcut

这个更好理解，意思就是在proj层进行投影时，不是用kernel=11，stride=2 的卷积来进行，因为这样的读取的数据为原来数据的25%，而且并没有特殊意义，对网络训练只会带来负面效果，所以文中作者采用33 的maxpool先做映射，然后在用1*1，stride=2的卷积来卷，这样数据上是有意义的，反正效果好了；
在这里插入图片描述

3.Grouped building block

这部分就是说，原来的resnet block操作都是先来11 的卷积减少featuremap的个数，然后进行33的卷积，最后再还原回来，这样做主要是减少中间33的参数量，同时也减少了计算量，但是block中主要就是3 3的卷积有学习能力，你砍掉他的channel，会造成学习到的东西减少，总之就是最终效果不好，所以作者就想通过扩大中间33卷积的channel数来提高最终效果，但是这么做又会增加计算量，所以就采用group卷积的方式，这样增大了channel，同时参数量也没变，最终效果也提高了，大家都开心了
在这里插入图片描述
在这里插入图片描述
总结：这篇文章感觉是工程化的优化，而且涉及到的一些技术都是已有的技术，没有特别的创新点，算是把大家的特长罗列罗列，然后融合一下，然后效果就是比你好，你气不气；刚开始拿到这篇文章，我 22页，这不是和牛批，后来一看，后面一大半都是在实验中度过。。。。

小子他亲爹
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【论文阅读】Improved Residual Networks for Image and Video Recognition (iResNet)
闻韶
04-16 1251
IIAI (阿联酋起源人工智能研究院) 新作，旨在进一步有效提升 ResNet 性能 (如收敛性)！ 论文链接：https://arxiv.org/abs/2004.04989 代码链接：https://github.com/iduta/iresnet 摘要 ResNets 是一种具有强大功能的 CNN 结构，广泛应用于各种任务。在本工作中，提出了一个 ResNets 的改进版本，该改...
论文阅Improved Residual Networks for Image and Video Recognition
qq_31510081的博客
04-22 654
该文章针对resnet中的三个主要模块：信息流的传递、残差模块和跳层连接（ Our proposed improvements address all three main components of a ResNet: the flow of information through the network layers, the residual building block, and the p...
Improved Residual Networks for Image and Video Recognition.pdf
04-27
Improved Residual Networks for Image and Video Recognition，ResNet的一种改良网路
Improved Residual Networks for Image and Video Recognition
皮皮飞的博客
04-27 415
通过这篇文章对该论文进行的了解 更推崇上面这篇文章，因为写的很详细 动机： 1.ResNet的主要结构是ResBlock块，。ResNet的特定设计是为了方便信息在网络中进行前向传播和反向传播。每个ResBlock包含三个卷积（2个1×1和1个3×3），然后加3个ReLU层。会对负权值清零而对信息传播带来负面影响，尤其再刚开始训练的时候，因为会存在很多的负权值。 2.原始ResNet架构中，由于x...
Improved Security Bounds for Generalized Feistel Networks
02-11
Improved Security Bounds for Generalized Feistel Networks
An improved FCM algorithm for ripe fruit image segmentation
02-10
An improved FCM algorithm for ripe fruit image segmentation
A fast inference networks for SAR target few-shot learning based on improved siamese networks
02-07
A fast inference networks for SAR target few-shot learning based on improved siamese networks
An improved NAS-RIF algorithm for image restoration
02-11
An improved NAS-RIF algorithm for image restoration
iResNet: Improved Residual Networks for Image and Video Recognition
qq_36321330的博客
05-08 1681
code pytorch Abstract 作者对resnet中三个主要的部分做了改进（不需要增加模型的复杂度，就可以训练比resnet更深的网络）： 通过网络层的信息流残差块 残差块 projection shortcut Introduction 原始的resnet中的identity mapping 当层数加深（152 -> 200）的时候，会变得很难优化，从而导致训练错误。我们将...
Adaptive Focus for Efficient Video Recognition.pdf
08-23
本次研究工作为提高计算效率，作者对视频识别的空间冗余进行了探讨。发现在视频的每一帧中，信息量最大的区域通常是一个小的 image patch，在不同的帧中平稳地移动。因此，作者将 patch 定位问题建模为一个连续的决策任务，并提出一种基于强化学习的高效空间自适应视频识别方法：AdaFocus。并在 ActivityNet, FCVID, Mini-Kinetics, Something-Something V1&V2 5 个基准数据上进行了实验，得出比竞争性基线明显更有效率的结果。
ResNet升级版（1）：IResNet | Improved Residual Networks for Image and Video Recognition
weixin_42096202的博客
04-28 1468
论文地址：https://arxiv.org/pdf/2004.04989.pdf Github：https://github.com/iduta/iresnet Abstract： 残差网络（ResNets）代表了一种强大的卷积神经网络（CNN）体系结构，已广泛用于各种任务中。在这项工作中，我们提出了ResNets的改进版本。我们提出的改进措施解决了ResNet的所有三个主要组成部分：通过...
【论文笔记】Improved Residual Networks (iResNet)
Y_a_n_g_Y的博客
06-17 1580
论文名称：《Improved Residual Networks for Image and Video Recognition》 论文链接：https://arxiv.org/abs/2004.04989 代码链接：https://github.com/iduta/iresnet 残差网络（ResNets）代表了一种强大的卷积神经网络（CNN）体系结构，已广泛用于各种任务中。在这篇论文中，作者针对ResNets的三个主要组成部分（通过网络的信息流、残差构建块和projection shortcut）加以改
Spatiotemporal Residual Networks for Video Action Recognition
paranoid_CNN的博客
09-04 4511
这篇文章出自2016 NIPS， 作者是格林茨大学的Feichtenhofer。背景：几乎现在行为识别领域，比较work的工作都是基于二流网络。其中appearance和motion分别由两个不同的网络学习，并将两个网络的结果做融合后产生识别。本文创新部分： a、将二维空间ResNet网络部分扩展到时间域。即原来的二维空间网络W*H*C 映射到W*H*T*C， 具体初始化方法如下：这样的好处有两
行人重识别论文spatially and temporally efficient non-local attention network for video-based person re-id
shuijinghua的博客
02-18 1117
论文 https://arxiv.org/pdf/1908.01683.pdf 代码 https://github.com/jackie840129/STE-NVAN 特点： Resnet50 + Non-Local 采用的数据集Mars 目前，基于视频的reid的最大数据集，应该就是2016年郑良老师开源的Mars(Motion analysis and re-identifica...
深入理解ResNet 到 IResNet
程序客栈
04-28 3633
论文链接： https:// arxiv.org/abs/2004.0498 9 代码链接： https:// github.com/iduta/iresne t ...
经典 network -- 图像分类篇（03 ResNet v1-v2）
u014546828的博客
12-11 889
近期，实验室小组成员决定定期学习经典网络模型。因此，特别准备写这么一个博客，持续更新我们的学习、及个人对各种经典网络的理解。如有不足和理解不到位的地方，还望读者提出质疑和批评，定虚心改进。望共同讨论、学习和进步。 系列目录： 经典 network -- 图像分类篇（01 AlexNet / VGG） 经典 network -- 图像分类篇（02 Inception v1-v4）(-ing) ...
使用pytorch构建resnet50-v2
zzpl139的博客
02-20 1065
使用pytorch构建resnet50-v2
original Residual Unit && full pre-activation Residual Unit
practical_sharp的博客
03-16 2453
在2016年ECCV的一篇论文中，讲述到了full pre-activation ResNet。 其改进的ResNet164结构比original结构的error降低0.5% K. He, X. Zhang, S. Ren, and J. Sun, “Identity mapping in deep residual networks,” in ECCV 2016 图中的weight层代表的就是卷积层操作，BN和relu分别是批正则化和激活函数 original Residual Unit Pytorch
progressive growing of gans for improved quality, stability, and variation
最新发布
03-16
渐进式增长 GAN（Progressive Growing of GANs）是一种用于提高生成对抗网络（GAN）质量、稳定性和变化性的方法。它通过逐步增加生成器和判别器的分辨率来实现这一目标，从而使生成的图像更加逼真、细节更加丰富。此方法已被广泛应用于图像生成、视频生成等领域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值