实际工作中的高级技术（训练加速、推理加速、深度学习自适应、对抗神经网络）

目录

一、训练加速

1.基于数据的并行 

①Model Average（模型平均）

②SSGD（同步随机梯度下降）

③ASGD*（异步随机梯度下降）

 2.基于模型的并行

二、推理加速

1.SVD分解*

2.Hidden Node prune

3.知识蒸馏*

4.参数共享

5.神经网络的量化*

6.Binary Net

7.基于fft的循环矩阵加速

三、深度学习自适应

1.初始参数的网络迁移

2.场景自适应（KLD）

3.数据的混合

四、对抗神经网络

---

一、训练加速

针对训练数据过于庞大的对策，多GPU训练，加速生产模型的速度，可以认为是离线操作。

常用的GPU训练：

1. 基于数据的并行（常用）
2. 基于模型的并行

我们主要看一下基于数据的并行，下面列出了三种并行方式

        ①Model Average（模型平均）

        ②SSGD（同步随机梯度下降）

        ③ASGD*（异步随机梯度下降）

1.基于数据的并行 

①Model Average（模型平均）

        假设有10000条数据，分成10份，每份1000条，用十个GPU分别训练，最后将得到的模型进行平均。这样训练出来的模型之间是相互独立的，故性能不会很好。

         而我们希望任务在训练过程中是保持通信的，可以怎么样做呢？

         如下图所示，我们将10000条数据分配到10 个Client，每个Client处理分别1000条数据。这十