在CNN网络结构的演化上,出现过许多优秀的CNN网络,偶然很想把这些网络图放在一起简单mark一下。本博文主要对比以下几种网络:LeNet,AlexNet,VGG-Net,GoogLeNet,ResNet。
LeNet:
广为流传LeNet诞生于1998年,网络结构比较完整,包括卷积层、pooling层、全连接层,这些都是现代CNN网络的基本组件。被认为是CNN的开端。
AlexNet:
2012年Geoffrey和他学生Alex在ImageNet的竞赛中,刷新了image classification的记录,一举奠定了deep learning 在计算机视觉中的地位。这次竞赛中Alex所用的结构就被称为作为AlexNet。
对比LeNet,AlexNet加入了 (1)非线性激活函数:ReLU;(2)防止过拟合的方法:Dropout,Data augmentation。同时,使用多个GPU,LRN归一化层。其主要的优势有:网络扩大(5个卷积层+3个全连接层+1个softmax层);解决过拟合问题(dropout,data augmentation,LRN);多GPU加速计算。
VGG-Net:
VGG-Net来自 Andrew Zisserman 教授的组 (Oxford),在2014年的 ILSVRC localization and classification 两个问题上分别取得了第一名和第二名,其不同于AlexNet的地方是:VGG-Net使用更多的层,通常有16-19层,而AlexNet只有8层。同时,VGG-Net的所有 convolutional layer 使用同样大小的 convolutional filter,大小为 3 x 3。
![VGG](https://www.52ml.net/wp-content/uploads/2016/08/vgg.png)
![VGG-19](https://www.52ml.net/wp-content/uploads/2016/08/vgg19.png)
GoogLeNet:
![googlenet](https://www.52ml.net/wp-content/uploads/2016/08/googlenet.png)
ResNet:
![resnet](https://www.52ml.net/wp-content/uploads/2016/08/resnet.png)