最近在学习吴恩达Andrew Ng的深度学习课程,之前对这几个网络还比较混乱,现在记录一下:
LeNet-5神经网络的贡献:
1.这是一个比较早的网络模型,其中在卷积层后面加入池化层的思想先今还在使用。
2.在最后的卷积层接入池化层和全连接层在当前也比较常用。
出处:Gradient-Based Learning Applied to Document Recognition
其结构为 输入-->卷积层-->平均池化层-->卷积层-->平均池化层-->全连接层-->全连接层-->softmax分类器(原论文不是采用这种方式)
注意:LeNet-5 是针对灰度图片训练的,所以图片的大小只有 32×32×1
AlexNet神经网络的贡献:
1.使用了 ReLu 激活函数
2.AlexNet 包含约 6000 万个参数,相对于LeNet网络(有 6 万个参数)多了很多参数。能够处理非常相似的基本构造模块。
3.从这开始,计算机视觉领域开始注意到深度学习。
一些特点:
1.采用了非常复杂的方法在两个 GPU 上进行训练
2.经典的 AlexNet 结构还有另一种类型的层,叫作“局部响应归一化层”,即 LRN 层。目前用到这个的不多。
结构:Alexnet网络和LeNet的网络结构比较相似
出处:ImageNet Classification with Deep Convolutional Neural Networks
VGG-16神经网络的贡献:
1.简化了神经网络结构(例如,把两个卷积网络合成一个:输入-->卷积1-->卷积2-->输出3 ==输入-->2x卷积(同结构)-->输出3 )
2.随着网络的加深,图像的高度和宽度都在以一定的规律不断缩小;通道数量在不断增加
特点:
1.数字 16,就是指在这个网络中包含 16 个卷积层和全连接层。
2.这是一种只需要专注于构建卷积层的简单网络
出处:Very Deep Convolutional Networks forLarge-Scale Image Recognition