显卡相关知识

1. A卡 & N卡

a卡和n卡分别是指AMD(超威半导体)和NVIDIA(英伟达)显卡。

• 　　A卡 频率高,适合超频看高清,画面效果好,但驱动不是很稳定,
• 　　N卡 频率较低,但很稳定,速度快,驱动完善

2. GeForce & Tesla  （英伟达显卡）

• GeForce属于普通消费级显卡，主要应用于游戏娱乐领域  （RTX 2080ti / GTX 1080ti）
• Tesla归类为专业级显卡，更偏重于深度学习、人工智能和高性能计算  (P40 / V100)

3. RTX  & GTX

NVIDIA显卡中，从2004年的Geforce 6800系列开始就有【GT】的代号，到了2005年的7800系列之后便引入了【GTX】的代号

在最新的20系列显卡中，由于新增了光线追踪的特性，因此由原来的GTX前缀改为RTX，这里的【RT】就代表着光线追踪（ray tracing的缩写）

RTX 显卡是首款加入RT Cores的显卡,专用的光线追踪硬件; 也是首款加入Tensor Cores的显卡。

• RTX 系列     2080ti / P40 / P100 / V100
• GTX系列     1080ti / titan XP
   

4. 显卡重点关注参数  （RTX 2080ti 为例）

4.1 GPU架构 （Turing）

GPU架构指的是硬件的设计方式

1. 图灵（Turing）： GeForce RTX 2080ti；Tesla T4
2. 帕斯卡（Pascal）：Tesla P100
3. 开普勒（Kepler）：GeForce GTX 690
4. Volta：Tesla V100

4.2 CUDA单元数 （4352）

CUDA(Compute Unified Device Architecture)是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。CUDA单元数直接影响GPU的计算性能。

4.3 Tensor核心数 （544）

Tensor Core可以让tensor的计算速度急速上升。Tensor Core专业执行矩阵数学运算。

4.4 显存带宽  （616 GB/sec）

显存带宽是指显示芯片与显存之间的数据传输速率。

4.5 显存容量 （11GB）

显存容量是显卡上显存的容量数，显存容量决定着显存临时存储数据的多少。一个较大的显存容量能让你一次性把更多的训练图片读入内存中

4.6 双/单/半精度计算性能 （0.4；14；28  TFLOPS）

这个当然是最重要的，这个指标就是GPU在处理FP64/FP32/FP16不同精度的浮点数时的浮点计算能力。对于浮点计算来说，CPU可以同时支持不同精度的浮点运算，但在GPU里针对单精度和双精度就需要各自独立的计算单元

1teraflops 中的 tera 代表一万亿，flo 则是指一次浮点运算（floating point operation），ps 是每秒（per second）的意思

1petaflop等于每秒钟进行1千万亿次的数学运算

Tesla V100的每个GPU均可提供125 teraflops的推理性能，配有8块Tesla V100的单个服务器可实现1 petaflop的计算性能。

5. 显卡对比

6. 扩展 TPU / NPU

GPU都是通用芯片。

但古语有云：工欲善其事必先利其器。

一块石头，是通用的，但如果我专门打磨打磨，让它变成锋利的，或许就可以用来切割东西了呢

6.1 TPU

谷歌推出了它们的深度学习框架TensorFlow

有了好的算法框架，就得要有硬件来支持啊，传统的GPU行吗？

当然行，可是它毕竟是块通用的石头，要是打磨打磨就好了。

于是针对谷歌的深度学习框架TensorFlow专门定制的芯片诞生了，TPU(Tensor Processing Unit)，张量处理单元

TPU与同期的CPU和GPU相比，可以提供15-30倍的性能提升

6.2 NPU

华为推出深度学习框架Mindspore

相应的硬件：NPU（Neural network Processing Unit）， 神经网络处理单元

昇腾310 & 昇腾910

6.3 对比

同样使用128个至强白金CPU和512个AI加速芯片，昇腾910在ImageNet任务中，训练ResNet-50只需1.59分钟，而英伟达V100需要2.35分钟。

Reference:

深度学习中GPU卡的选择 - 知乎 (zhihu.com) 

CPU/GPU/TPU/NPU傻傻分不清楚 - 知乎 (zhihu.com)