按时间轴简述九大卷积神经网络

原创 2017年06月18日 12:18:00

timeline


1998, Yann LeCun 的 LeNet5

图像特征分布在整个图像上
在具有很少参数的多个位置上提取类似特征时,具有可学习的参数的卷积是个比较有效的方法
在没有应用GPU的时候,能够保存参数和计算就成了一个关键优势
LeNet5并没有把每个像素都作为大型多层神经网络的一个输入,因为图像是高度空间相关的,如果用了这种方法,就不能很好地利用相关性

LeNet5 的主要特征:

  • CNN 主要用这3层的序列: convolution, pooling, non-linearity
  • 用卷积提取空间特征
  • 由空间平均得到子样本
  • 用 tanh 或 sigmoid 得到非线性
  • 用 multi-layer neural network(MLP)作为最终分类器
  • 层层之间用稀疏的连接矩阵,以避免大的计算成本

LeNet5


2010, Dan Claudiu Ciresan and Jurgen Schmidhuber 的 Dan Ciresan Net

是比较早的GPU神经网络之一,在NVIDIA GTX 280图形处理器上实现了9层神经网络的前向后向计算。


2012,Alex Krizhevsky 的 AlexNet

是LeNet的一个更深和更广的版本,可以用来学习更复杂的对象

AlexNet 的主要特征:

  • 用rectified linear units(ReLU)得到非线性
  • 使用辍 dropout 技巧在训练期间有选择性地忽略单个神经元,来减缓模型的过拟合
  • 重叠最大池,避免平均池的平均效果
  • 使用GPU NVIDIA GTX 580可以减少训练时间,这比用CPU处理快了10倍,所以可以被用于更大的数据集和图像上

AlexNet


2013年12月,Yann LeCun的纽约大学实验室的 OverFeat

是AlexNet的衍生,提出了 learning bounding boxes


2015,牛津的 VGG

率先在每个卷积层中使用更小的 3×3 filters,并将它们组合成卷积序列
虽然小,但是多个3×3卷积序列可以模拟更大的接收场的效果
这个想法也在最近的Inception和ResNet网络中有所应用


2014,Min Lin, Qiang Chen, Shuicheng Yan 的 NiN

  • 它的思想很简单但是很有效,使用1x1卷积给一个卷积层的特征提供了更多的组合性
  • 每个卷积之后使用空间MLP层,以便在另一层之前更好地组合特征,而没有使用原始像素作为下一层的输入
  • 可以有效地使用非常少的参数,在这些特征的所有像素之间共享

Network-in-network


2014,Google Christian Szegedy 的 GoogLeNet and Inception

  • 在昂贵的并行块之前,使用1×1卷积块(NiN)来减少特征数量,这通常被称为“瓶颈”,可以减少深层神经网络的计算负担
  • 它用一个没有 inception modules 的 stem 作为初始层
  • 用类似于NiN的平均池加上softmax分类器

Inception


2015年2月,Christian 团队的 Inception V2,2015年12月,Inception V3

  • 在每个池之前,增加 feature maps,构建网络时,仔细平衡深度和宽度,使流入网络的信息最大化
  • 当深度增加时,特征的数量或层的宽度也有所增加
  • 在下一层之前,增加每一层的宽度来增多特征的组合性
  • 尽量只使用3x3卷积

Inception V3


2015,Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun 的 ResNet

这个网络绕过了2层,可以被看作一个小的分类器,或者一个NiN
这也是第一次训练了大于100甚至1000层的网络
在每一层,通过使用更小output的1x1卷积来减少特征的数量,然后经过一个3x3 层,接着又是一个1x1卷积,这个方法可以保持少计算量,同时提供丰富的特征组合

ResNet


2016,François Chollet 的 Xception

这个网络和 ResNet and Inception V4 一样有效,而且用了更简单优雅的结构
它有36个卷积阶段,和ResNet-34相似,不过模型和代码和ResNet一样简单,并且比Inception V4更易理解
这个网络在 Torch7/Keras / TF 都已经可以应用了

Xception


原文:
Neural Network Architectures
https://culurciello.github.io/tech/2016/06/04/nets.html


推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

版权声明:本文为博主原创文章,未经博主允许不得转载。

纯CSS时间轴实现的办法,超简单的!

转自:http://oss.so/blog/21.html 在以往,如果要在网页上,实现时间轴效果,我们需要使用jQuery来实现。虽然jQuery十分的漂亮美观,但使用方法来说,太麻烦...
  • zhang_Red
  • zhang_Red
  • 2015年03月23日 12:29
  • 7204

比较精简的css时间轴

css时间轴代码
  • wow4464
  • wow4464
  • 2015年05月20日 13:16
  • 2171

RecyclerView 列表控件中简单实现时间线

很多软件中都有时间线的东西,貌似天气啊,旅游啊什么的最多了;具体实现方式很多,在本篇文章中讲解一种自定义View封装的方式。 而后使用Android的新列表控件RecyclerView进行演示。...
  • qiujuer
  • qiujuer
  • 2015年08月24日 18:56
  • 6874

了解CNN这一篇就够了:卷积神经网络技术及发展

【新智元导读】深度学习很火,说起深度学习中一个很重要的概念——卷积神经网络(CNN)似乎也人人皆知。不过,CNN究竟是什么,涉及哪些概念,经过如何发展,真正要有逻辑地归纳一遍,估计不少人都说不清。日前...
  • maweifei
  • maweifei
  • 2016年10月31日 18:45
  • 6374

iOS 实现时间线列表效果

之前看到美团的订单详情页面很有特色,于是决定模仿一下这个效果。 其实就是简单的 TableView 技巧,下面我们就来一步一步实现它。 画个泡泡 首先到 Sketch 里画出气泡...
  • qq_30513483
  • qq_30513483
  • 2016年05月16日 09:23
  • 2242

【前端Web】Jquery实现的四款牛B的时间轴

引言 最近项目中使用了很多前端的东西,对于我一个做后台开发的人员,这是一个很好的锻炼的机会。经过这段时间的学习,感觉前端的东西太多了,太强大了,做出来的东西太炫酷了。现在有很多开源的前端框架,做...
  • hj7jay
  • hj7jay
  • 2017年02月21日 09:22
  • 4657

竖直时间轴之左右交叉布局

最近学习了时间轴的用法,用到了一个左右交叉布局,其间有些东西我觉得可以跟大家分享一下,还是那句话:我是小菜鸟,大家多多指教。...
  • u010898329
  • u010898329
  • 2016年06月26日 16:17
  • 965

Android自定义View实现垂直时间轴布局

时间轴时间轴,顾名思义就是将发生的事件按照时间顺序罗列起来,给用户带来一种更加直观的体验。京东和淘宝的物流顺序就是一个时间轴,想必大家都不陌生,如下图:分析实现这个最常用的一个方法就是用ListVie...
  • shineflowers
  • shineflowers
  • 2017年03月08日 19:31
  • 2231

Android 时间轴的实现

时间轴,顾名思义就是将发生的事件按照时间顺序罗列起来,给用户带来一种更加直观的体验。京东和淘宝的物流顺序就是一个时间轴(如图),想必大家都不陌生。时间轴的初探初次见到这种UI,感觉整个布局似曾相识,但...
  • TOYOTA11
  • TOYOTA11
  • 2016年03月14日 22:05
  • 10526

卷积神经网络(CNN)基础介绍

卷积神经网络(CNN)基础介绍
  • fengbingchun
  • fengbingchun
  • 2016年01月16日 20:31
  • 68243
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:按时间轴简述九大卷积神经网络
举报原因:
原因补充:

(最多只允许输入30个字)