VALSE 4月12日下午第一会场深度学习模型设计会议记录

最新推荐文章于 2019-09-24 19:41:34 发布

HuaYuuuu

最新推荐文章于 2019-09-24 19:41:34 发布

阅读量499

点赞数

文章标签： VALSE 深度学习模型

本文链接：https://blog.csdn.net/qq_31049727/article/details/89343418

版权

4月12日下午第一会场深度学习模型设计

主持人：王乃岩——图森未来

题目：Deep High-Resolution Representation Learning for Visual Recognition

讲者：王井东——微软亚研

Convolutional Neural Network = Representation Learning

低分辨率表征学习 → 图像分类

高分辨率表征学习

首先，对于视觉任务，表征学习分为以下几个level。

现有很多结构的特征图变化是从高分辨率到低分辨率（VGG，AlexNet，ResNet）、高分辨率到低分辨率再到高分辨率（Unet，DeconvNet）。

还有中层分辨率，列举出了PSP和ASPP，应该是想说空洞卷积和多尺度等结构。

而目前遇到了以下问题，如果采用Unet结构，特征表示并不够强，如果去掉了下采样的结构，虽然分辨率变高了，但是计算量又太大了。

他们认为，要得到好的效果，低分辨率到高分辨率的过程不应该是仅仅是串行（增加网络深度）的而是并行的，同时还要在不同的尺度之间进行不断的信息交互，如下图：

总结一下他们的工作：就是将高分辨率和低分辨率进行并行处理，并且使得不同分辨率之间一直存在信息交互。所以提出了HRNets。（感觉并没有去解决高分辨率的特征图计算量大的问题，至少我没有听到看到关于这个的解释。）

题目：面向快速推理的卷积神经网络结构设计

讲者：黄高——清华大学

DenseNet的作者，听他讲了一遍感觉有很多体会和感悟，按照他讲的顺序来记录。

Part 1 Dense Connectivity

首先，他们提到了如何发现或者提出DenseNet的，在ResNet发表了之后，他们在对ResNet进行实验的时候，为了剪枝获得更好的收敛性，在ResNet上进行了改进，将每个skip上放上“一枚硬币”。在训练每个minibatch的时候，对于每个block都抛硬币，若为正面则将这个block保留，若为反面的话则直接将下面的block删除。也就是说，在每个minibatch上都随即丢掉一些block，此为随机深度网络。发现这个方法会有很好的效果，进而进一步实验，发现比较浅层的特征对深层的特征同样有重要作用。这就是DenseNet的motivation。

接下来提到了一下标准卷积和组卷积（以及条件放松的组卷积），探讨了一些问题，比如以后是否可以学习groupConv中的group连接？

Part 2 Adaptive Inference

为什么需要更深的网络模型？是为了提升performance。

而这样也导致了一个指数级别增长的参数量。

另外一个观察：有一些图片非常简单，有一些图片非常复杂

接下来引出了一个非常关键的一个观点：

Why do we use the same expensive model for all pictures?

既然图片有简单的有复杂的，那么为什么要把所有图片都做同样的操作。

进而导出了实际上我们现有的网络结构是存在大量的计算浪费的。

于是他们提出了要使用Multi-Scale features

这样的结构，使简单的图片直接从前面的classifier出去，减少了计算量，而复杂的图片经过复杂的处理从后面的classifier出去。（但是具体每张图片怎么判断是简单还是复杂没有提及，需要看看他们的论文）

Multi-scale dense network for efficient image classification, ICLR Oral, 2018

接下来总结了一些问题，关于Adaptive Inference的，分为五个方面：

Design：怎样去设计一个高效且合适的网络结构？
Training：怎样去高效的去训练一个动态网络？
Evaluation：怎样去高效地进行动态评估？
For other task：怎样将这个应用于其他的任务上？
Spatial or Temporal：到底是时域还是空域自适应？

题目：高效轻量级深度模型的研究与实践

讲者：张祥雨——旷视

CNN是深度视觉识别系统的核心，而作为一个模型的好坏与两方面相关，一方面是性能，另一方面是计算开销。

一般而言，准确度的提升会伴随着速度的下降。

同时需要考虑到任务与平台的差异性：

理论复杂度与实际复杂度的差异
任务不同，模型需求也不相同
平台或任务额外约束

如果需要设计一个高效的模型，有以下基本的设计思路：

轻量级架构

模型裁剪

模型搜索

低精度量化

知识蒸馏

高效实现

于是提到了他们shuffleNet的工作，v1是有通道的稀疏连接，但是各个分组之间没有信息的链接和交互，v2进行了改进，但是有一些任务（如语义分割）则表现一般，其他任务则精度还不错。他们认为这是他们的Fast downsample的原因。

接下来是对于NAS的一些探索。现存的都是针对特定任务设计不同类型的网络模型，但是还存在”不可能三角”。

即效率、性能、灵活性。怎么去权衡。

后面介绍了一些模型裁剪的工作，但是没太听明白就不放上来了。

总结

题目：网络结构搜索的提速方法和训练技巧

讲者：谢凌曦——美国约翰霍普金斯大学（华为）

NAS狂热者

上来是两个观点：

Neural Architecture Search (NAS) is the future.
The future is approaching faster than we used to think.

但是由于我之前完全没有涉及这个领域，所以只能看个热闹，看看总结和未来工作。更多思考其实还是在Panel环节。

总结：

Block是否可以学习？怎样去遍历搜索空间？这些问题还需要去解决

未来工作

题目：基于直接稀疏优化的模型剪枝与网络结构搜索

讲者：王乃岩——图森未来

背景：

NAS is a pioneering task in AutoML.

几个关键点：

NAS as a complex discrete optimization problem

Find the best convex relaxation.

然后用到了稀疏搜索？

数据驱动的稀疏结构选择。

具体优化听不懂。

Panel

如何评价手工设计和NAS之间的关系，这一个问题涉及到NAS存在的基础。

张祥雨谈到ResNet构建，他们对googleNet进行实验，发现googleNet效果好的原因在于不是一味的加深网络层数，而是拓宽。进而发现，只要输入输出之间存在一个较短的通路，那么性能就不会太差。通过进一步实验，得出两个结论，一个是googlenet里面的1*1卷积非常重要，另一个是输入输出之间存在较短路是很重要的。所以接下来有了灵感，既然需要短路，那么就设计一个最短的路，就是直接前后都连起来，即ResNet。

NAS究竟应该搜索什么东西，比如搜索空间中是加入了很多人为的设计知识，人为知识到底需不需要，需要的话应该加入什么知识，都是问题。

NAS还有两个问题：