经典网络结构

参考:《解析深度学习——卷积神经网络原理与视觉实践》

网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

一、VGG

特点:

(1)使用小卷积核和“保持输入大小"等技巧,目的在增加网络深度(复杂度)时各层输入大小随深度增加而不极具减小。

(2)通道数也逐渐在增加。

二、NIN

特点:

(1)NIN采用了复杂度更高的多层感知机作为层间映射形式,一方面提供了网络层间映射的一种新可能;另一方面增加了网络卷积层的非线性能力,使得上层特征可有更多复杂性与可能性的映射到下层,这样的想法也被后期出现的残差网络 和Inception等网络模型所借鉴。

(2)用全局汇合操作(global average poolig)代替全连接层(分类层)。

三、残差网络(高速公路网络的简化,将变换门和携带门用近路连接代替,即直接用恒等映射代替非线性变换。近路连接使梯度信息可以在多个神经网络层之间有效传递。)

权重初始化策略和批规范化极大改善梯度爆炸或梯度消失的问题(由网络深度引起的)。

(1)普通残差模块与瓶颈残差模块

(2)高速公路网络的简化,将变换门和携带门用近路连接代替,即直接用恒等映射代替非线性变换。近路连接使梯度信息可以在多个神经网络层之间有效传递。

(3)也用到了全局汇合操作(global average poolig)代替全连接层

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值