深度学习算法效果提升-网络结构

1. 前言

  优化深度学习算法的效果可以从三个方面入手,数据+网络结构+损失函数。一般来说,外行改网络结构,内行改损失函数,公司层面收集数据。

  在一般情况下,特别是手机端应用,直接拿个成熟的小网络进行迁移学习,如shufflenet、mobilenet等,是较为常见的做法。而且,由于一些开源框架提供了官方预训练的模型,只要自己的数据集和imagenet的数据类别出入不大,在其基础上做finetune效果往往也会很好。

  对于服务器端应用,在算法开发阶段,我们通常会选择imagenet数据集上效果较好的预训练模型,比如resnet 101, inception_resnet_v2等,具体可以参见https://github.com/tensorflow/models/tree/master/research/slim中给出的对比数据。在工程部署阶段,可能会因为服务器的配置、网络延迟等因素的影响,模型的inference时间不满足产品定义的响应时间,此时便需要对网络结构做裁剪,也即修改当前网络模型的backbone,然后重新训练整个网络的参数。此时面临两种选择:一是将当前网络的backbone替换成小网络,比如替换成mobilenet;二是对大的网络做裁剪,比如resneXT,将其裁剪成小的网络,然后作为backbone,至于是Mobilenet好还是裁剪后的resneXT好呢,不同的网络结构提取的图像特征是不一样的,所以要基于具体的任务做完对比实验后才知道。

  事实上,裁剪网络属于网络结构设计的范畴,这个范畴包含了两大子类别:一是“从无到有”,可以直接发网络结构方面的paper了;二是”从有到有“,站在巨人的肩膀上,包括了network prune、knowledge distillation。 前者需要很多的经验和技巧,往往都出自于Google、SenseTime等公司的牛人之手,可能大家看到这里会说,“不是已经有自动化的网络结构搜索了吗,比如nasnet等”,但是网络结构的自动化搜索同样门槛也很高,对于大多数深度学习从业者来说也是很少会去用的。因此,本篇先对一些已有网络结构中的精华点进行讲解,为有志于网络结构设计方面的同学找到一些inspiration,然后结合自己的思考,从工业应用的角度,介绍调整网络结构的常用策略

2. 现有的优秀网络结构

  不同网络结构的模型,它们的表征能力不一样,有些模型是为了提升精度,而有些兼顾了精确度和速度。从应用平台上来划分,可以分为”云“上模型和“端”上模型。一般来说,大的网络结构的模型,它的精确度较高,但是因为模型较厚重,所以只适合在服务器端部署。与此同时,小的网络结构的模型,设计这在设计之初考虑了速度和精度的折中,因此这类网络模型更适合手机端部署。

2.1 “云”上模型

  说起部署在云端的模型,不得不从Inception网络Inception系列网络结构在网络设计领域是非常重要的,具有很好的借鉴意义。为什么这么说呢,因为在它之前,所有的网络为了提升Imagenet分类效果,都是考虑增加卷积层的个数。Inception系列都是在前一个版本的基础上进行速度和精度的优化,让我们开始欣赏网络设计人员的智慧吧。

2.1.1 Inception v1(GoogLeNet)

  Motivation

  (1) 图像中的显著性区域有很大的差异性。比如猫狗识别,对于一条狗的图片,显著性区域则为狗的身体部分,可能图片中的狗颜色、品种、姿势、尺寸都不相同,所以差异性很大;

  (2) 如果想学习图片中全局的信息,应该使用大的kernel,如果想学习图片中局部的信息,应该使用小的kernel;

  (3) 网络越深,越容易过拟合,而且存在梯度消失问题;

  (4) 减小计算量;

  Solution

  网络往 "wider"方向发展而不是 “deeper”,一种解决办法是同一层使用多个尺寸的filter,模块结构如下,
在这里插入图片描述
  为了减小模型的计算量,使用了1x1的卷积层进

  • 2
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值