【DL--16】深度学习架构清单

1. AlexNet
AlexNet 是首个深度架构，它由深度学习先驱 Geoffrey Hinton 及其同僚共同引入。AlexNet 是一个简单却功能强大的网络架构，为深度学习的开创性研究铺平了道路。

论文：ImageNet Classification with Deep Convolutional Neural Networks
链接：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
代码实现：https://gist.github.com/JBed/c2fb3ce8ed299f197eff

2. VGG Net
VGG 网络由牛津可视化图形组（Visual Graphics Group）开发，因此其名称为 VGG。该网络的特点是金字塔形，与图像最近的底层比较宽，而顶层很深。

论文：Very Deep Convolutional Networks for Large-Scale Image Recognition

链接：https://arxiv.org/abs/1409.1556
代码实现：https://github.com/fchollet/keras/blob/master/keras/applications/vgg16.py

3. GoogleNet
GoogleNet（或 Inception 网络）是谷歌研究者设计的一种架构。GoogleNet 是 ImageNet 2014 的冠军，是当时最强大的模型。

该架构中，随着深度增加（它包含 22 层，而 VGG 只有 19 层），研究者还开发了一种叫作「Inception 模块」的新型方法。

GoogleNet 的优势在于：
GoogleNet 训练速度比 VGG 快。
预训练 GoogleNet 的规模比 VGG 小。VGG 模型大于 500 MB，而 GoogleNet 的大小只有 96MB。

GoogleNet 本身没有短期劣势，但是该架构的进一步改变使模型性能更佳。其中一个变化是 Xception 网络，它增加了 inception 模块的发散极限（我们可以从上图中看到 GoogleNet 中有 4 个 inception 模块）。现在从理论上讲，该架构是无限的（因此又叫极限 inception！）。

论文：Rethinking the Inception Architecture for Computer Vision

链接：https://arxiv.org/abs/1512.00567
代码实现：https://github.com/fchollet/keras/blob/master/keras/applications/inception_v3.py

4.ResNet
ResNet 是一个妖怪般的架构，让我们看到了深度学习架构能够有多深。残差网络（ResNet）包含多个后续残差模块，是建立 ResNet 架构的基础。

ResNet 引入的新技术有：
使用标准的 SGD，而非适应性学习技术。它联通一个合理的初始化函数（保持训练的完整性）做到的这一点。
输入预处理的变化，输入首先被区分到图像块中，然后输送到网络中。

ResNet 主要的优势是数百，甚至数千的残差层都能被用于创造一个新网络，然后训练。这不同于平常的序列网络，增加层数量时表现会下降。

论文：Deep Residual Learning for Image Recognition

链接：https://arxiv.org/abs/1512.03385
代码实现：https://github.com/fchollet/keras/blob/master/keras/applications/resnet50.py

5. ResNeXt
ResNeXt 据说是解决目标识别问题的最先进技术。它建立在 inception 和 resnet 的概念上，并带来改进的新架构。

论文：Aggregated Residual Transformations for Deep Neural Networks
链接：https://arxiv.org/pdf/1611.05431.pdf
代码实现：https://github.com/titu1994/Keras-ResNeXt

6. RCNN (基于区域的 CNN)
基于区域的 CNN 架构据说是所有深度学习架构中对目标检测问题最有影响力的架构。为了解决检测问题，RCNN 尝试在图像中所有物体上画出边界框，然后识别图像中的物体。

论文：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
链接：https://arxiv.org/abs/1506.01497
代码实现：https://github.com/yhenon/keras-frcnn

7. YOLO (You Only Look once)
YOLO 是当前深度学习领域解决图像检测问题最先进的实时系统。如下图所示，YOLO 首先将图像划分为规定的边界框，然后对所有边界框并行运行识别算法，来确定物体所属的类别。确定类别之后，yolo 继续智能地合并这些边界框，在物体周围形成最优边界框。

这些步骤全部并行进行，因此 YOLO 能够实现实时运行，并且每秒处理多达 40 张图像。

尽管相比于 RCNN 它的表现有所降低，但在日常实时的问题中它还是有优势的。

论文：You Only Look Once: Unified, Real-Time Object Detection
链接：https://pjreddie.com/media/files/papers/yolo.pdf
代码实现：https://github.com/allanzelener/YAD2K

8.SqueezeNet
SqueeNet 架构是在移动平台这样的低宽带场景中极其强大的一种架构。这种架构只占用 4.9 MB 的空间，而 Inception 架构大小为 100MB。这种巨大的差距由一种名为 Fire Module 的特殊结构引起。

链接：https://arxiv.org/abs/1602.07360
代码实现：https://github.com/rcmalli/keras-squeezenet

9.SegNet
SegNet 是一个用于解决图像分割问题的深度学习架构。它包含处理层（编码器）序列，之后是对应的解码器序列，用于分类像素。

SegNet 的一个主要特征是在编码器网络的池化指标与解码器网络的池化指标连接时，分割图像保留高频细节。简言之，直接进行信息迁移，而非卷积它们。在处理图像分割问题时，SgeNet 是最好的模型之一。

论文：SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation
链接：https://arxiv.org/abs/1511.00561
代码实现：https://github.com/imlab-uiip/keras-segnet

10.GAN
GAN 是神经网络架构中完全不同的类别。GAN 中，一种神经网络用于生成全新的、训练集中未曾有过的图像，但却足够真实。
论文：Generative Adversarial Networks
链接：https://arxiv.org/abs/1406.2661
代码实现：https://github.com/bstriner/keras-adversarial