学习笔记-2018年11月6日

主要看了四段视频

1. 陈天奇：TVM-深度学习全栈自动优化和软硬件协同设计

提纲

TVM的作用是针对不同的硬件平台，包括CPU、GPU、TPU等，对各种深度学习框架的代码（主要是inference过程）进行统一优化，目的是使得算法模型在各种不同的硬件平台上的运行得到加速

内容

1.可以End-to-End优化，也可以优化用户指定的各种操作；
2.AutoTVM自动优化操作池；
3.提供一个TVM RPC用于硬件程序调试，支持模拟器；
4.VTA Stack集群优化

疑问

AutoTVM的效率问题，搜索范围的操作池非常大

2. 左神基础班03

提纲

1.排序算法稳定性及其意义
2.桶排序及应用
3.定长数组实现定长栈和队列

内容

1、O(n²)算法：冒泡、选择、插入排序都是稳定的；O(nlogn)算法：归并稳定、堆排序和快速排序不稳定。
2、桶排序是非比较排序，另有计数排序和基数排序（未讲），应用：无序数组排序后相邻数的差的最大值。
3、index和size控制栈，start、end、size控制队列
4、栈实现队列，队列实现栈

3. 旷视科技资深研究员俞刚-Beyond RetinaNet & Mask R-CNN

提纲

1、回顾RetinaNet和Mask R-CNN的工作
2、从Backbone、Head、Postprocess三个方面改进目标检测算法

内容

1、介绍RetinaNet和Mask R-CNN的思想
2、目标检测的改进方向，从目标检测的整个流程来逐个分析，从Backbone、Head和Postprocess操作等方面进行改进
3、Backbone的主要问题在于，现在检测框架中用于提取特征的CNN都是用于ImageNet分类任务预训练的，而分类任务本身是对localization和scale不敏感的，用这种Backbone做检测任务肯定存在一定问题。在此基础上旷视提出了DetNet专门用于检测任务的Backbone
4、Head的概念广泛存在于Single Stage和Two Stage检测算法中，其中Single Stage算法在Recall Rate上效果较好，Two Stage算法在Accuracy上表现较好。同时Two Stage算法往往被诟病速度较慢，其原因在于所用Head较重。因此提出一种Light-Head R-CNN算法，减轻Head 的计算量，提高速度的同时，保留Two Stage检测算法的优点。
5、Postprocess是现在检测框架中不可缺少的一部分，以NMS为主，但却是以一种游离于End-to-End框架之外的形式存在。需要做一些改进。

4. Stanford CS231n - Lecture 15 | Efficient Methods and Hardware for Deep Learning by Song Han

提纲

(Algorithm, Hardware)和(Inference, Training)两两结合，构成四个维度来介绍深度学习硬件加速

内容

Algorithms for Efficient Inference

1、Pruning
2、Weight Sharing
3、Quantization
4、Low Rank Approximation
5、Binary / Ternary Net
6、Winograd Transformation

Hardware for Efficient Inference

1、Asic
2、TPU
3、EIE

Algorithms for Efficient Training

Hardware for Efficient Training