inception-v1,v2,v3,v4----论文笔记

最近通读了inception的四篇论文，在此做一下笔记。

先给出这四篇论文的地址：

Going deeper with convolutions：https://arxiv.org/pdf/1409.4842.pdf

Batch Normalization: https://arxiv.org/pdf/1502.03167.pdf

Rethinking the Inception Architecture for Computer Vision：https://arxiv.org/pdf/1512.00567.pdf

Inception-v4, Inception-ResNet： https://arxiv.org/pdf/1602.07261.pdf

Inception-v1

在这篇轮文之前，卷积神经网络的性能提高都是依赖于提高网络的深度和宽度，而这篇论文是从网络结构上入手，改变了网络结构，所以个人认为，这篇论文价值很大。

该论文的主要贡献：提出了inception的卷积网络结构。

从以下三个方面简单介绍这篇论文：为什么提出Inception，Inception结构，Inception作用

为什么提出Inception

提高网络最简单粗暴的方法就是提高网络的深度和宽度，即增加隐层和以及各层神经元数目。但这种简单粗暴的方法存在一些问题：

• 会导致更大的参数空间，更容易过拟合
• 需要更多的计算资源
• 网络越深，梯度容易消失，优化困难（这时还没有提出BN时，网络的优化极其困难）

基于此，我们的目标就是，提高网络计算资源的利用率，在计算量不变的情况下，提高网络的宽度和深度。

作者认为，解决这种困难的方法就是，把全连接改成稀疏连接，卷积层也是稀疏连接，但是不对称的稀疏数据数值计算效率低下，因为硬件全是针对密集矩阵优化的，所以，我们要找到卷积网络可以近似的最优局部稀疏结构，并且该结构下可以用现有的密度矩阵计算硬件实现，产生的结果就是Inception。

Inception结构

   

首先看第一个结构，有四个通道，有1*1、3*3、