2023神经网络与深度学习第三次总结

一、基本卷积神经网络

1.AlexNet

网络提出

网络结构

 网络说明

(1)网络一共有8层可学习层——5层卷积层和3层全连接层

(2)改进

-池化层均采用最大池化

-选用ReLU作为非线性环节激活函数

-网络规模扩大，参数数量接近6000万

-出现“多个卷积层+一个池化层”的结构

(3)普遍规律

-随网络深入，宽、高衰减，通道数增加

改进策略

(1)输入样本： 从原始图像（256,256）中，随机的crop出

一些图像（224,224）【平移变换，crop 】；水平翻转图像【反射变换，flip】；给图像增加一些随机的光照【光照、彩色变换，color jittering】。

(2)激活函数： 采用ReLU替代 Tan Sigmoid； 用于卷积层与全连接层之后。

(3) Dropout: 在每个全连接层后面使用一个 Dropout 层,以概率 p 随机关闭激活函数。

(4) 双GPU策略 : AlexNet使用两块GTX580显卡进行训练，两块显卡只需要在特定的层进行通信.

2.VGG-16

网络提出

 网络结构

 网络说明

(1)改进

-网络规模进一步增大，参数数量约为1.38亿

-由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。

(2)普遍规律

-随网络深入，高和宽衰减，通道数增多。

3.残差网络

非残差网络的缺陷

 梯度消失问题