GPU相关常见名称的含义

最新推荐文章于 2022-10-10 18:18:18 发布

Kfdhfljl

最新推荐文章于 2022-10-10 18:18:18 发布

阅读量1k

点赞数

分类专栏： ML Basics

原文链接：https://zhuanlan.zhihu.com/p/91334380

版权

ML Basics 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

GPU相关常见名称的含义

GPU架构

如Tesla、Fermi、Kepler、Maxwell、Pascal。gpu架构指的是硬件的设计方式，例如流处理器簇中有多少个core、是否有L1 or L2缓存，是否有双精度计算单元等等。每一代架构是一种思想，如何去更好完成并行的思想，

芯片型号

如GT200、Fermi、Kepler、Maxwell、Pascal
芯片是对上述GPU架构思想的实现。Tesla k80用了两块GK210芯片。这里第一代的gpu架构的命名也是Tesla，但现在基本已经没有这种设计的卡了，下文如果提到了会用Tesla架构和Tesla系列来进行区分。

显卡系列

如GeForce、Quadro、Tesla。显卡系列在本质上没有什么区别，只是NVIDIA希望区分成三种选择，GeFore用于家庭娱乐，Quadro用于工作站，而Tesla系列用于服务器。Tesla的k型号卡为了高性能科学计算而设计，比较突出的优点是双精度浮点运算能力高并且支持ECC内存，但是双精度能力好像在深度学习训练上并没有什么卵用，所以Tesla系列又推出了M型号来做专门的训练深度学习网络的显卡。需要注意的是Tesla系列没有显示输出接口，它专注于数据计算而不是图形显示。最后一点GeForce的显卡型号是不同的硬件定制，越往后性能越好，时钟频率越高显存越大，即G/GS<GT<GTS<GTX。

CUDA

CUDA英文全称是Compute Unified Device Architecture，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。按照官方的说法是，CUDA是一个并行计算平台和编程模型，能够使得使用GPU进行通用计算变得简单和优雅。

cuDNN

这个其实就是一个专门为深度学习计算设计的软件库，里面提供了很多专门的计算函数，如卷积等。除了实现深度学习网络加速的cuDNN，还有很多其他的软件库和中间件，包括实现c++ STL的thrust、实现gpu版本blas的cublas、实现快速傅里叶变换的cuFFT、实现稀疏矩阵运算操作的cuSparse等等。

nvcc&nvidia-smi

nvcc其实就是CUDA的编译器,可以从CUDA Toolkit的/bin目录中获取,类似于gcc就是c语言的编译器。由于程序是要经过编译器编程成可执行的二进制文件，而cuda程序有两种代码，一种是运行在cpu上的host代码，一种是运行在gpu上的device代码，所以nvcc编译器要保证两部分代码能够编译成二进制文件在不同的机器上执行。
nvidia-smi全程是NVIDIA System Management Interface ，它是一个基于前面介绍过的NVIDIA Management Library(NVML)构建的命令行实用工具，旨在帮助管理和监控NVIDIA GPU设备。