动手学深度学习(三)卷积神经网络对比

        最新版的d2l主要介绍了LeNet、AlexNet、VGG、NiN、GoogLeNet、ResNet和DenseNet。此处做个小总结。仅做个人记录。

        

CNN贡献激活函数网络组成
LeNet用卷积层替代全连接层,最初用于手写数字识别sigmoid2个卷积层+2个平均池化层+3个全连接层
AlexNet第一个在大规模视觉竞赛中击败传统模型的大型神经网络ReLU5个卷积层+3个池化层+3个全连接层
VGG使用可复用的VGG block构造网络,可以有效地设计复杂网络ReLU5个VGG block(前两个有1个卷积层,后三个有2个卷积层,每个block最后都以1个最大池化层结束)+3个全连接层(前两层使用了dropout,失活率为0.5)
NiN每个NiN block中由一个卷积层和两个1*1卷积层组成,完全取消了全连接层,显著减少了模型参数,但有时会提升训练时间ReLU4个NiN block,前3个block后面接1个3*3/2的最大池化层,最后接一个全局平均池化层
GoogLeNet使用inception block,将不同大小的卷积核的输出进行通道合并,大幅降低了模型复杂度ReLU2个卷积层+1个1*1卷积层+4个最大池化层+2+5+2个inception block(4个通道并行通道连接)+1个全局平均池化层+1个全连接层
ResNet使用残差连接的residual block,使得更深的网络会有更好的性能,同时引入BN,使得网络更加稳定ReLU1个卷积层+1个BN+1个最大池化层+2个不改变输出通道的residual block(两套Conv+BN+ReLU,输入直接与输出相加)+3个改变输出通道的2*residual block(输入通过1*1卷积改变通道数与输出相加)+1个全局平均池化层+1个全连接层
DenseNet将ResNet的相加改为通道维连结,使得最后一层与之前所有层紧密相连,由dense block和transition layer组成,前者定义连结输入和输出,后者控制通道数量,防止过于复杂ReLUdense block(4个BN+ReLU+Conv)+transition layer(BN+1*1Conv+AvgPool)+BN+1个全局平均池化层+1个全连接层

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值