深度学习笔记一: LeNet-5、AlexNet 和 VGGNet等网络模型的小结

最近在学习吴恩达Andrew Ng的深度学习课程,之前对这几个网络还比较混乱,现在记录一下:

LeNet-5神经网络的贡献: 

1.这是一个比较早的网络模型,其中在卷积层后面加入池化层的思想先今还在使用。

2.在最后的卷积层接入池化层和全连接层在当前也比较常用。

出处:Gradient-Based Learning Applied to Document Recognition

其结构为 输入-->卷积层-->平均池化层-->卷积层-->平均池化层-->全连接层-->全连接层-->softmax分类器(原论文不是采用这种方式)

注意:LeNet-5 是针对灰度图片训练的,所以图片的大小只有 32×32×1

 

AlexNet神经网络的贡献:

1.使用了 ReLu 激活函数

2.AlexNet 包含约 6000 万个参数,相对于LeNet网络(有 6 万个参数)多了很多参数。能够处理非常相似的基本构造模块。

3.从这开始,计算机视觉领域开始注意到深度学习。

一些特点:

1.采用了非常复杂的方法在两个 GPU 上进行训练

2.经典的 AlexNet 结构还有另一种类型的层,叫作“局部响应归一化层”,即 LRN 层。目前用到这个的不多。

结构:Alexnet网络和LeNet的网络结构比较相似

出处:ImageNet Classification with Deep Convolutional Neural Networks

VGG-16神经网络的贡献:

1.简化了神经网络结构(例如,把两个卷积网络合成一个:输入-->卷积1-->卷积2-->输出3  ==输入-->2x卷积(同结构)-->输出3 )

2.随着网络的加深,图像的高度和宽度都在以一定的规律不断缩小;通道数量在不断增加

特点:

1.数字 16,就是指在这个网络中包含 16 个卷积层和全连接层。

2.这是一种只需要专注于构建卷积层的简单网络

出处:Very Deep Convolutional Networks forLarge-Scale Image Recognition

 

 

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值