深度学习算法效果提升-网络结构

1. 前言

  优化深度学习算法的效果可以从三个方面入手，数据+网络结构+损失函数。一般来说，外行改网络结构，内行改损失函数，公司层面收集数据。

  在一般情况下，特别是手机端应用，直接拿个成熟的小网络进行迁移学习，如shufflenet、mobilenet等，是较为常见的做法。而且，由于一些开源框架提供了官方预训练的模型，只要自己的数据集和imagenet的数据类别出入不大，在其基础上做finetune效果往往也会很好。

  对于服务器端应用，在算法开发阶段，我们通常会选择imagenet数据集上效果较好的预训练模型，比如resnet 101, inception_resnet_v2等，具体可以参见https://github.com/tensorflow/models/tree/master/research/slim中给出的对比数据。在工程部署阶段，可能会因为服务器的配置、网络延迟等因素的影响，模型的inference时间不满足产品定义的响应时间，此时便需要对网络结构做裁剪，也即修改当前网络模型的backbone，然后重新训练整个网络的参数。此时面临两种选择：一是将当前网络的backbone替换成小网络，比如替换成mobilenet；二是对大的网络做裁剪，比如resneXT，将其裁剪成小的网络，然后作为backbone，至于是Mobilenet好还是裁剪后的resneXT好呢，不同的网络结构提取的图像特征是不一样的，所以要基于具体的任务做完对比实验后才知道。

  事实上，裁剪网络属于网络结构设计的范畴，这个范畴包含了两大子类别：一是“从无到有”，可以直接发网络结构方面的paper了；二是”从有到有“，站在巨人的肩膀上，包括了network prune、knowledge distillation。 前者需要很多的经验和技巧，往往都出自于Google、SenseTime等公司的牛人之手，可能大家看到这里会说，“不是已经有自动化的网络结构搜索了吗，比如nasnet等”，但是网络结构的自动化搜索同样门槛也很高，对于大多数深度学习从业者来说也是很少会去用的。因此，本篇先对一些已有网络结构中的精华点进行讲解，为有志于网络结构设计方面的同学找到一些inspiration，然后结合自己的思考，从工业应用的角度，介绍调整网络结构的常用策略。

2. 现有的优秀网络结构

  不同网络结构的模型，它们的表征能力不一样，有些模型是为了提升精度，而有些兼顾了精确度和速度。从应用平台上来划分，可以分为”云“上模型和“端”上模型。一般来说，大的网络结构的模型，它的精确度较高，但是因为模型较厚重，所以只适合在服务器端部署。与此同时，小的网络结构的模型，设计这在设计之初考虑了速度和精度的折中，因此这类网络模型更适合手机端部署。

2.1 “云”上模型

  说起部署在云端的模型，不得不从Inception网络Inception系列网络结构在网络设计领域是非常重要的，具有很好的借鉴意义。为什么这么说呢，因为在它之前，所有的网络为了提升Imagenet分类效果，都是考虑增加卷积层的个数。Inception系列都是在前一个版本的基础上进行速度和精度的优化，让我们开始欣赏网络设计人员的智慧吧。

2.1.1 Inception v1（GoogLeNet）

  Motivation：

  (1) 图像中的显著性区域有很大的差异性。比如猫狗识别，对于一条狗的图片，显著性区域则为狗的身体部分，可能图片中的狗颜色、品种、姿势、尺寸都不相同，所以差异性很大；

  (2) 如果想学习图片中全局的信息，应该使用大的kernel，如果想学习图片中局部的信息，应该使用小的kernel；

  (3) 网络越深，越容易过拟合，而且存在梯度消失问题；

  (4) 减小计算量；

  Solution