关闭

Wide Residual Networks

31人阅读 评论(0) 收藏 举报
分类:

最近在研究ResNet的各种变体,看到一个宽残差网络(Wide Residual Networks)。它所谓的宽度(width)指卷积层的输出通道数,它希望通过通道翻N倍来换取较浅的网络(depth),以此来提高inference的时候的速度。文章地址:https://arxiv.org/abs/1605.07146

它不能增大卷积核来扩大所谓的宽度,因为从VGG开始的各种网络已经抛弃大卷积核。如果他们“返祖”扩大卷积核大小,没有人会理睬他们的文章,所以只好扩大通道数。其实现在ResNet通道数已经很大,最大到2048,简单的通道数翻倍会让滤波器参数个数变为原来的4倍。

论文原文未细看,本文待完善。

0
0
查看评论

论文笔记 | Wide Residual Networks

AuthorsSergey Zagoruyko Nikos Komodakis Sergey ZagoruykoAbstract网络不断向更深发展,但是有时候为了得到少量的accuracy的增加,却需要将网络层数翻倍,也会减少feature的reuse,降低训练速度。作者提出了wide r...
  • bea_tree
  • bea_tree
  • 2016-07-10 02:08
  • 6160

WRNS:Wide Residual Networks 论文笔记

俗话说,高白瘦才是唯一的出路。但在深度学习界貌似并不是这样。Wide Residual Networks就要证明自己,矮胖的神经网络也是潜力股。
  • wspba
  • wspba
  • 2017-05-15 22:30
  • 2702

Wide Residual Networks

卷积神经网络在过去几年中逐渐增加了层数,从AlexNet [16],VGG [26],Inception [30]到Residual [11]网络开始,对应于许多图像识别任务的改进。 近年来,深入网络的优势已经出现在几项工作中[3,22]。 然而,训练深层神经网络有几个困难,包括爆发/消失的梯度...
  • xiaofei0801
  • xiaofei0801
  • 2017-08-16 16:12
  • 125

Residual Networks - v2

Residual NetworksWelcome to the second assignment of this week! You will learn how to build very deep convolutional networks, using Residual Networks ...
  • u012657650
  • u012657650
  • 2017-11-23 22:29
  • 255

Residual Networks - v2 Homework

Residual NetworksWelcome to the second assignment of this week! You will learn how to build very deep convolutional networks, using Residual Networks ...
  • qq_29300341
  • qq_29300341
  • 2017-11-15 20:57
  • 3956

目标检测--Wide-Residual-Inception Networks for Real-time Object Detection

本文主要是在 Residual 和 Inception 基础上构建新的模型,实现实时物体检测。构建的新模型特色是占用内存少,计算量小。新网络命名为 wide-residual-inception (WR-Inception) 。III. Wide-Residual-Inception Networ...
  • zhangjunhit
  • zhangjunhit
  • 2017-02-22 14:09
  • 2196

Deep Residual Network学习(一)

对ResNet的初步解读和实验结果在cifar10上复现
  • yj3254
  • yj3254
  • 2016-08-18 20:08
  • 9750

神经网络:Residual Network

《Deep Residual Learning for Image Recognition》论文解读。本文来自于MSRA,作者是大神何凯明。概述本文提出了一种Residual learning的框架,和以前的深层模型比起来,层数要深很多。在ImageNet2015的比赛中,作者使用了152层的网络取...
  • tinyzhao
  • tinyzhao
  • 2016-11-16 16:36
  • 5032

CVPR 2017论文笔记— Dilated Residual Networks

1.Background 这次我来介绍一篇深度网络文章《Dilated Residual Networks》,发表在CVPR 2017会议上。作者是普林斯顿大学的Fisher Yu博士等人。网络简称为DRN。文章原文可在作者主页阅览:Fisher Yu主页(http://www.yf.io/) ...
  • m0_37407756
  • m0_37407756
  • 2017-07-26 15:36
  • 444

Aggregated Residual Transformations for Deep Neural Networks - arxiv 16.11

Aggregated Residual Transformations for Deep Neural Networks, arXiv 16.11. 论文链接: https://arxiv.org/abs/1611.05431 ===== 这个是全明星阵容的paper,提出了深度模型另一个...
  • xuanyoumeng
  • xuanyoumeng
  • 2016-11-20 12:33
  • 2474
    个人资料
    • 访问:75074次
    • 积分:1646
    • 等级:
    • 排名:千里之外
    • 原创:77篇
    • 转载:0篇
    • 译文:10篇
    • 评论:52条
    文章分类
    最新评论