深度学习理论向应用的过渡课程【北京大学_TensorFlow2.0笔记】学习笔记(十)——经典卷积网络:LeNet、AlexNet、VGGNet、InceptionNet、ResNet

经典卷积网络

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

LeNet:1998,卷积网络开篇之作,通过共享卷积核减少了网络参数。5层。

在统计卷积神经网络层数时,只统计卷积计算层和全连接计算层,其余操作认为是卷积层的附属。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

AlexNet:2012,使用relu激活函数,提升了训练速度,使用Dropout缓解过拟合。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

VGGNet:2014,使用小尺寸卷积核,在减少参数的同时提高了识别准确率;网络结构规整,非常适合硬件加速。卷积核个数从128->256->512,通过增加卷积核个数,增加了特征图深度,保持了信息承载能力。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

InceptionNet:引入Inception结构块,在同一层网络内使用不同尺寸的卷积核,可以提取不同尺寸的特征,提升了模型感知力;使用了批标准化,缓解了梯度消失。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

Inception结构块内含有四个1*1卷积核,其中三个(黄色)作用到输入特征图的每个像素点,通过设定少于输入特征图深度的1*1卷积核个数,减少了输出特征图深度,起到了降维作用,减少了参数量和计算量。

送到卷积连接器的特征数据尺寸相同,卷积连接器会把收到的这四路特征数据按深度方向拼接,形成Inception结构块的输出。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

可自行调整喂入数据,以显卡使用率的70%-80%为合理

ResNet:2015,提出层间残差跳连,引入前方信息,缓解了梯度消失,使神经网络层数增加成为可能。

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

 watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAbTBfNTg1ODYyMzU=,size_20,color_FFFFFF,t_70,g_se,x_16

使用跳连线,将前边的特征直接接到了后面,使输出结果H(x)包含了堆叠卷积的非线性输出F(x)和跳过这两次卷积直接映射过来的恒等映射x,让二者对应相加,有效缓解了神经网络模型堆叠导致的退化,使神经网络向更深层发展。

总结

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值