用 Python 从零开始构建 Inception Network

介绍

随着越来越多的高效体系结构出现在世界各地的研究论文中，深度学习体系结构正在迅速发展。这些研究论文不仅包含了大量的信息，而且为新的深度学习体系结构的诞生提供了一条新的途径，它们通常难以解析。为了理解这些论文，人们可能需要多次阅读那篇论文，甚至可能需要阅读其他相关论文。Inception 就是其中之一。

Inception 网络是 CNN 图像分类器发展过程中的一个重要里程碑。在此架构之前，大多数流行的 CNN 或分类器只是使用越来越深的堆叠卷积层以获得更好的性能。

另一方面，Inception 网络经过精心设计，非常深入和复杂。它使用了许多不同的技术来推动其性能；无论是速度还是准确性。

什么是Inception？

Inception Network（ResNet）是Christian Szegedy、Wei Liu、Yangqing Jia介绍的著名深度学习模型之一。Pierre Sermanet、Scott Reed、Dragomir Anguelov、Dumitru Erhan、Vincent Vanhoucke 和 Andrew Rabinovich在 2014 年的论文“Going deeper with convolutions” [1]中。

后来演化出了不同版本的 Inception 网络。这是 Sergey Ioffe、Christian Szegedy、Jonathon Shlens、Vincent Vanhouck 和 Zbigniew Wojna在 2015 年题为“Rethinking the Inception Architecture for Computer Vision” [2] 的论文中提出的。Inception模型被归类为最受欢迎和最常用的深度学习模型之一。

设计原则

–少数通用设计原则和优化技术的提议被证明对有效地扩展卷积网络很有用。

–在网络体系结构的早期，避免代表性瓶颈。

–如果网络具有更多不同的过滤器，这些过滤器将具有更多不同的特征图，则网络将学习得更快。

–降维的空间聚合可以在低维嵌入上完成，而不会损失太多表示能力。

–通过宽度和深度之间的平衡，可以实现网络的最佳性能。

初始模块

初始模块（naive）

资料来源：'Going Deeper with Convolution ' 论文

最优局部稀疏结构的近似

• 处理各种尺度的视觉/空间信息，然后聚合

• 从计算上看，这有点乐观

• 5×5 卷积非常花费开销

Inception 模块（降维）

来源：'Going Deeper with Convolution' 论文

降维是必要和有动力的（网络中的网络）

• 通过 1×1 卷积实现

• 深入思考学习池化，而不是高度/宽度的最大/平均池化。

初始架构

使用降维的inception模块，构建了深度神经网络架构（Inception