混合精度训练——资料+简单说明

序

• 最近看CDQA这个开源库的时候看到了混合精度训练这种写法，所以简单去了解了下，
• 结果得出了一个很悲催的结论：我的小破笔记本的显卡不支持混合精度训练…？？！
• 自己不研究这个，找到一些很不错的资料，自己看完后这里就奉送上！

Tensor Core

-----------------------------大神自取-----------------------------
1. Deep Learning Performance Guide

2. 想读读PyTorch底层代码？这份内核机制简介送给你

3. 如何轻松了解深度学习模型中使用了混合精度？

---

• 本着扩充知识的目的，我们来简单普及一些关于显卡的知识，虽然买不起…

GPU参数解释

• 自取

​ 体现GPU计算能力的两个重要特征：
​ 1)CUDA核的个数；
​ 2)存储器大小。
​ 描述GPU性能的两个重要指标：
​ 1)计算性能峰值；
​ 2)存储器带宽。

GPU，CUDA，cuDNN的理解

• 略读：

• 补：cuDNN将研究人员创建和优化CUDA代码以提高DL性能的需求抽象出来

GPU选择（土豪自取）

• 做深度学习这么多年还不会挑GPU？这儿有份选购全攻略

GPU正篇

• 上面其实是为下面的两篇文章稍微打打基础,简单看看，可以当作普及知识，两篇文章大致从GPU硬件角度出发，解释的混合精度训练和一些测试结果：
• 2.NVIDIA深度学习Tensor Core全面解析（上篇）
• 3.NVIDIA深度学习Tensor Core全面解析（下篇）

基于混和精度的模型加速

​ 原始博文

• 本这篇文章重在工程化，给出了具体的代码以及下面的相应的参考资料,这几份参考资料都很不错，看完上面的博文，有需要可以仔细读读下面的资料

参考资料：

1.nv官方repo给了一些基于pytorch的apex加速的实现

• 实现是基于fairseq实现的，可以直接对比代码1-apex版和代码2-非apex版(fairseq官方版)，了解是如何基于apex实现加速的。

2.nv官方关于混合精度优化的原理介绍

• 按图索骥，可以get到很多更加具体地内容。

3.低精度表示用于深度学习 训练与推断： pdf介绍，很不错