【结构变迁】
- LeNet:第一个成功的卷积神经网络。
- AlexNet:类似LeNet,层次更深更大。使用了层叠的卷积来抓取特征(通常是一个卷积层马上一个maxpooling层)。
- ZF Net:增加了中间卷积层的尺寸,让第一层stride和filter size更小。
- VGG:只使用filter size = 3和pooling size = 2 从头到尾堆叠。
- GoogLeNet:较少参数量,最后一层用平均池化代替全连接层,top-1成功率提高了0.6%。
- ResNet:引入了跨层连接和batch normalization
- DenseNet:将跨层连接从头进行到尾
【变迁的点】
- 使用small filter size的卷积层和pooling
- 去掉parameters过多的全连接层
- Inception的使用
- 跳层连接
具体各个网络参考这里:参考
Lenet
Alexnet
VGG
googlenet
resnet
DenseNet ,看这篇
特点:对于每一层网络来说,前面所有网络的特征图都被作为输入。
与ResNets相反,在特征传到网络层之前,从不通过求和来组合它们;而是通过将它们连接起来组合它们。参考
优点:
优势:
- 解决了梯度消失问题;
- 增强了特征传播;
- 增强了特征复用;
- 大大地减少了参数量。
DenseNet相较于原生ResNet所需的内存和计算资源更少,并达到更好的性能。
efficienet
resnxt