黄金时代 —— NAS技术学习

• 自动化神经架构搜索方法
• AutoML
• NASNet
• MnasNet
• 发展方向：
  • NAS的搜索空间有很大的局限性。目前NAS算法仍然使用手工设计的结构和blocks，NAS仅仅是将这些blocks堆叠。人工痕迹太过明显，NAS还不能自行设计网络架构。NAS的一个发展方向是更广泛的搜索空间，寻找真正有效率的架构，当然对搜索策略和性能评估策略提出更高的要求。
  • 以google的NAS为基础，很多模型专注于优化模型的准确率而忽视底层硬件和设备，仅考虑准确率高的模型难以在移动终端部署。研究针对多任务和多目标问题的 NAS，基于移动端的多目标神经网络搜索算法，评价指标从准确率扩展到功耗、推断延时、计算复杂度、内存占用、FLOPs等指标，解决移动端实际应用问题。
  • 目前的NAS发展是以分类任务为主，在分类任务设计的模型迁移到目标检测语义分割模型中

CNN模型压缩概述

• CNN模型压缩是从压缩模型参数的角度降低模型的计算量。
• 人工设计轻量型神经网络结构，多是依赖Grouped Convlution、Depthwise、Pointwise、Channel Shuffle这些基本单元组成的Block，但是这些设计方法存在偶然性，不是搜索空间的最优解 … …

Deep compression 2016

• 剪枝：剪枝就是去掉一些不必要的网络权值，只保留对网络重要的权值参数
• 权值共享和权值量化：权值共享就是多个神经元见的连接采用同一个权值，权值量化就是用更少的比特数来表示一个权值
• 哈夫曼编码：对权值进行哈夫曼编码能进一步的减少冗余

CNN模型压缩

• 沿着Deep compression的思路，压缩算法可分为四类：
  • 参数修剪和共享(parameter pruning)：关注于探索模型参数中冗余的部分，并尝试去除冗余和不重要的参数，如减少不重要的通道
  • 低秩分解(Low-rank factorization)：使用矩阵/张量分解以估计深层 CNN 中最具信息量的参数
  • 迁移/压缩卷积滤波器(transferred/compact convolutional filters)：设计了特殊结构的卷积滤波器以减少存储和计算的复杂度
  • 知识蒸馏(knowledge distillation)：学习了一个精炼模型，即训练一个更加紧凑的神经网络以再现大型网络的输出结果

AutoML for Model Compression，AMC

• 传统的模型压缩技术依赖手工设计的启发式和基于规则的策略，需要算法设计者探索较大的设计空间，在模型大小、速度和准确率之间作出权衡，而这通常是次优且耗时的。
• 利用强化学习提供模型压缩策略。这种基于学习的压缩策略性能优于传统的基于规则的压缩策略，具有更高的压缩比，在更好地保持准确性的同时节省了人力成本。
• 模型压缩在维度上可分为Fine-grained pruning和Coarse-grained/structured pruning
  • Fine-grained pruning主要实现剪枝权重的非重要张量，实现非常高的压缩率同时保持准确率
  • Coarse-grained pruning旨在剪枝权重张量的整个规则区域（例如，通道，行，列，块等），例如在MobileNet V1&V2

TensorFlow Lite

• 引入post-training模型量化技术[9]， 将模型大小缩小了4倍，执行速度提升了3倍！通过量化模型，开发人员还将获得降低功耗的额外好处。

NAS技术

参考链接!