一、LeNet
LeNet由两个部分组成:
特征提取部分:由两个卷积层和两个平均池化层组成
全连接层:由三个全连接层组成
模型单元结构:
一个卷积层、一个Sigmoid激活函数、一个池化层
数据的传输:
卷积层输入为4维的数据(B,C,W,H)
卷积层输出位4维的数据(B,C,FW,FH)
全连接层的输入为2位数据(B,L)
全连接层的输出为2维数据(B,FL)
Lenet网络结构:
二、AlexNet
AlexNet网络结构
![](https://i-blog.csdnimg.cn/direct/a8ed463674f941aa9cf1056f93fb54b6.png)
AlexNet设计理念
首先,AlexNet比相对较小的LeNet要深得多
其次,AlexNet由八层组成:五个卷积层、两个全连接隐藏层和一个全连接输出层
最后,AlexNet使用ReLU而不是sigmoid作为激活函数
三、Dropout操作
目的:防止神经网络过拟合
四、图像增强
水平翻转
随机裁剪
PCA进行图像增强
五、LRN正则化
局部归一化作用:对局部的值进行归一化操作,使其中比较大的值变得相对更大,增强了局部的对比度。