深度学习
回顾
前期内容的回顾:
AlexNet:是将卷积层和池化层进行了堆叠,并且在网络结构中采用了ReLU激活函数,同时采用了Dropout技术来减少过拟合。
ZFNet:虽然也是对AlexNet的改进,但重点在于调整了网络的参数设置和结构,例如增加了卷积层的深度和减小了卷积核的大小。
VGG:将大核转换为多个小核,主要体现在网络结构上,通过采用3x3的小卷积核来替代较大的卷积核,从而提高网络的非线性表示能力。
GoogLeNet:这个网络引入了Inception模块,以解决参数量过大的问题,通过使用不同大小的卷积核和池化层,有效减少了参数数量。
ResNet:是通过引入残差连接来解决深层网络训练中的梯度消失和梯度爆炸问题,允许网络更深地训练,提高了梯度传播的效率。
VGG、GoogLeNet(也称为Inception)、ResNet等这些经典的深度神经网络架构的主要目的是为了克服传统深度神经网络的一些限制,使网络能够更深层、更快速地学习到有效的特征表示。
轻量化模型
1 Inception系列
Inception系列采用了Inception模块,其中包含了多个分支,每个分支使用不同大小的卷积核和池化层,以捕获不同尺度的特征信息。这样的设计有助于提高网络的表达能力和感知范围。
1.1 NIN(Network in Network)
NIN&#x