神经网络与深度学习-学习笔记（3）

1.基本卷积神经网络

① AlexNet

网络提出：

网络结构：

网络说明：

网络一共有8层可学习层——5层卷积层和3层全连接层

改进

-池化层均采用最大池化

-选用ReLU作为非线性环节激活函数

-网络规模扩大，参数数量接近6000万

-出现“多个卷积层+一个池化层”的结构

普遍规律

-随网络深入，宽、高衰减，通道数增加

详细解释：以第一层conv1为例

relu1：max(0,𝑥)，作为激活函数紧接在卷积层后面

norm1：局部响应归一化LRN，LRN层作用不大，在CNN中并不常用

pool1：采用max pooling，pooling核大小为3×3，stride为2，即pooling核的步长是2，即2倍降采样，此处的pool1层是有交叠的池化层，即pooling核在相邻位置有重叠

可视化：

②VGG-16

网络提出：

网络结构：

参数数量变化：