[CV Paper] A practical theory for designing very deep convolutional neural networks

最新推荐文章于 2023-04-20 17:15:41 发布
最新推荐文章于 2023-04-20 17:15:41 发布
阅读量2k 收藏 8
点赞数 2
分类专栏： 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JosephPai/article/details/81235310
版权
本文探讨了随着网络层数加深，如何有效地设计深度卷积神经网络。提出了两个关键限制：每层应具有学习复杂模式特征的能力，且最高层的感受野不超过图像范围。通过将CNN分为classifier和feature层，研究了feature level的最优化问题，强调了c值（学习能力指标）的重要性，并给出了c值的下限。同时，避免最高层感受野过大导致的过拟合问题。实验表明，这些限制有助于构建高效深层网络。
摘要由CSDN通过智能技术生成

论文阅读：设计深度卷积神经网络的实用技巧理论

综述

网络层数逐渐加深是大势所趋，如何设计高效的更深的网络是目前的问题，盲目的叠加层数并不能取得好的效果。
本文提出两种全新视角的限制约束，使得网络结构变深的同时保证效果。

  • 第一：保证每一层卷积层都有学习复杂模式特征的能力
  • 第二：最高层的感受野不能大于图片范围

在这两个限制条件下，我们把设计深度卷积神经网络的问题转化为限制条件下的最优化问题

Approach

首先将CNN模型划分为classifier和feature两层结构
two level
本文的设计主要集中在feature level， classifier level设为固定形式。
Feature level最优化问题：

  • 限制一：每一层的c值不能太小（c值是度量网络学习能力的一个指标）
  • 限制二：卷积层最高层的感受野不能大于图片大小
  • 目标：在限制基础上，尽可能的使网络深

设定固定的classifier level:

受到Network in Network 和 GoogleNet的启发，用两层CNN代替以往常用的全连接层，较小的feature map配合较大的kernel size，并经过最大池化，作用类似

最低0.47元/天 解锁文章
永无乡
关注
专栏目录
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5372
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
cvpr2015papers
ZhangPY的专栏
03-02 8876
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf
Practical Convolutional Neural Networks
05-05
“Practical Convolutional Neural Networks: Implement advanced deep learning models using Python” Md. Rezaul Karim,Mohit Sewak,Pradeep Pujari 2018年2月 epub文件，内含示例源码
【深度学习实践】A practical theory for designing very deep convolutional neural networks-深度卷积神经网络的设计实践理论
doufangzheng的专栏
01-17 1545
An answer for how to Going Deep effectively 本文主题：深度卷积神经网络的设计实践理论 概述 在深度学习网络搭建中，going deep是提升网络表征能力的重要方向。但是，盲目增加网络层数可能会使网络性能下降。 该论文提出两个设计的原则： 第一，每一层保证其学习复杂特征的能力，即网络学习能力 第二，最顶层保证其感受野小于图像区域（刚好小于...
【面向代码】学习 Deep Learning（三）Convolution Neural Network(CNN)
热门推荐
DarkScope从这里开始
07-26 7万+
========================================================================================== 最近一直在看Deep Learning，各类博客、论文看得不少 但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox 只是跟着Andrew Ng的
深层CNN的调参经验 | A practical theory for designing very deep convolutional neural networks
向着星辰大海
08-18 2957
A practical theory for designing very deep convolutional neural networks 两个前提假设： 1.对于每一个卷积层，其学习更复杂表示的能力应该被保证 2.最高层的感受野应该不大于图像范围 Why deep? 更深：只增加了线性复杂度，但是模型的学习效果却提升了很多 模型结构 1.featur...
深度卷积神经网络——Deep Convolutional Neural Networks
lhaof的博客
02-26 6122
本文是对深度学习大牛Hinton于2012年发表在NIPS上面的论文《ImageNet Classification with Deep Convolutional Neural Networks》进行学习的笔记。 1.关于对数据集ImageNet的处理： 研究者将图片down-sample到固定像素256*256。对于一个矩形图片，先放缩图片使短边长度为256，才取此时图片中间的256*25
ICCV2017论文摘要汇总
super_chicken的博客
04-18 6402
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
Official Program for CVPR 2015
ZhangPY的专栏
03-02 4326
From:  http://www.pamitc.org/cvpr15/program.php   Official Program for CVPR 2015 Monday, June 8 8:30am-8:40am Ballrooms A,B,C Rooms 302,304,306 Opening Remarks from Conference C
深度学习 专项课程 (四) —— Convolutional Neural Networks
LJ的博客
09-13 999
Coursera - Convolutional Neural Network - Andrew Ng 学习随笔 Part 1 Fundations of Convolutional Neural Network 一些常识：卷积意义基本性质. 尺寸计算 [((2xPad + Input) - Filter) / Stride + 1]. **Valid Convolution：不加padCou...
论文笔记：ImageNet Classification with Deep Convolutional Neural Networks
super_chicken的博客
12-04 858
ImageNet Classification with Deep Convolutional Neural Networks概要提出了深度卷积神经网络模型Alexnet，用于对ImageNet图像数据集进行分类。在2012年ILSVRC分类比赛取得top-5错误率15.3%获得冠军。 基于ImageNet训练了卷积神经网络，获得了当时为止最好的分类结果 实现了基于GPU优化的卷积和其他计算，用于训
cvpaper
MYPOSTWWW的专栏
03-09 1597
http://www.cvpapers.com/index.html   http://www.cvpapers.com/eccv2010.html     http://www4.comp.polyu.edu.hk/~cslzhang/code.htm
深度学习——卷积神经网络 (Convolutional Neural Networks / CNN)
loveliuzz的博客
01-15 9931
一、卷积神经网络的概述 1、卷积神经网络与普通神经网络非常相似，它们都由具有可学习的权重w和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，普通神经网络里的一些计算技巧到这里依旧适用。普通神经网络把输入层和隐含层进行“全连接(Full Connected)“的设计。从计算的角度来讲，相对较小的图像从整幅图像中计算特征
VGG Convolutional Neural Networks Practical（5）the theory of back-propagation
Enjolras_fuu的博客
12-19 1526
第2部分：反向传播和衍生 例如，这是如何查找卷积运算符：y = vl_nnconv(x,w,b) ; % forward mode (get output) p = randn(size(y), 'single') ; % projection tensor (arbitrary) [dx,dw,db] = vl_nnconv(x,w,b,p) ; % backward mode (get pro
深度学习入门——深度卷积神经网络模型（Deep Convolution Neural Network,DCNN）概述
qq_44918501的博客
04-20 8505
机器学习是实现人工智能的方法和手段，其专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识和技能，重新组织已有的知识结构使之不断改善自身性能的方法。计算机视觉技术作为人工智能的一个研究方向，其随着机器学习的发展而进步，尤其近10年来，以深度学习为代表的机器学习技术掀起了一场计算机视觉革命。本文将针对典型的深度学习技术——深度卷积神经网络进行介绍，主要介绍深度卷积神经网络的基础知识。
deep learning 卷积神经网络的实现（Convolution Neural Networks）
chuanzhuanxian8669的博客
06-15 143
本节将会讲到卷积神经网络的实现。说到卷积神经网络，在图像识别和目标检测方面已经取得了不错的效果，为什么要叫做卷积神经网络呢？主要是因为在特征提取的时候，输入图像会通过卷积核对原始图像进行特征抽取，然后再通过神经网络进一步进行特征提取，也可以称为降维，再通过分类器得到分类或者识别的结果，斯坦福大...
cv-papers: 计算机视觉相关论文整理、翻译、记录、分享;
default
07-17 2028
计算机视觉相关论文整理、翻译、记录、分享; 包括图像分类、目标检测、视觉跟踪/目标跟踪、人脸识别/人脸验证等领域。 欢迎加星, 欢迎提问，欢迎指正错误, 同时也期待能够共同参与;长沙的朋友欢迎线下交流 持续更新中... ... 项目地址：https://github.com/yizt/cv-papers 基础网络 ResNeXt 目标检测 R-CNN 系列 R-CNN Fast...
CVPapers论文整理工具-开源
求知若饥，知行合一
09-10 5026
一、运行实例 相信计算机视觉领域的同道中人都知道这个Computer Vision Resource网站， http://www.cvpapers.com/  网页部分截图如下： 可以看到有太多论文集，比如CVPR2013年就有472篇，自己写了一个小工具，用来筛选感兴趣的论文 运行界面如下： 输入论文集网址和自己感兴趣的领域点击提交即可，其中关键字可以输入多个，然后程
Designing Distributed Tree-based Index Structures for Fast RDMA-capable Networks
最新发布
04-22
如何设计适合快速 RDMA-capable 网络的分布式基于树的索引结构？ 这是一个很有挑战性的问题。一些解决方法可能包括，在树结构中使用B+树或LSM树构建索引。我们还可以考虑使用具有低延迟和高吞吐量的RDMA网络，以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值