GPU硬件与CUDA程序开发工具

目录

1 GPU 硬件简介

1.1 GPU 和 CPU

1.1.1 GPU 和 CPU 的区别

1.1.2 GPU的性能指标

1.1.3 CPU + GPU 异构架构

2 CUDA程序开发环境

3 用 nvidia-sim 检查与设置设备

3.1 查询设备信息

3.2 查询 GPU 详细信息

3.3 查询特定 GPU 详细信息

3.4 显示 GPU 特定信息

3.5 帮助命令

---

1 GPU 硬件简介

        GPU（Graphics Processing Unit）意为图像处理器，也被称为显卡。

1.1 GPU 和 CPU

1.1.1 GPU 和 CPU 的区别

•  一块典型的CPU拥有少数几个快速的计算核心，而一块典型的 GPU 拥有几百到几千个不那么快速的计算核心。
• CPU 中有更多的晶体管用于数据缓存和流程控制，GPU中有更多的晶体管用于算数逻辑单元。

1.1.2 GPU的性能指标

• 核心数
• GPU 显存容量
• GPU 计算峰值
• 显存带宽

1.1.3 CPU + GPU 异构架构

        一块单独的 GPU 是无法独立的完成计算任务的，他必须在 CPU 的调度下才能完成特定的任务。在 CPU 和 GPU 构成的异构计算平台中，通常将起控制作用的 CPU 称为主机，将起加速作用的 GPU 称为设备。主机和设备都有自己的动态随机存取存储器（DRAM），他们之间由 PCIe 总线连接。

2 CUDA程序开发环境

        CUDA 提供了两层 API供程序员使用，即 CUDA 驱动API 和 CUDA 运行时API。两种API在性能上几乎没有差别

3 用 nvidia-sim 检查与设置设备

3.1 查询设备信息

        打开 Windows 命令行窗口，输入命令：nvidia-smi

• NVIDIA-SIM：NVIDIA-SIM版本号
• Driver Version：驱动版本号
• CUDA Version：CUDA 版本号
• GPU Name：GPU 型号以及设备号
• Fan：N/A表示显卡没有风扇
• Temp：显卡温度
• Perf：性能状态，范围为P0 - P12，P0代表性能最高
• TCC.WDDM：显卡模式
• Pwr：Usage/Cap：表示显卡功率
• Bus-Id：总线
• Disp.A：表示GPU是否初始化
• Memory-Usage：显存使用率
• Volatile GPU-UTil：GUP 使用率
• ECC：是否开启错误检查和纠错技术
• Compute M：计算模式

3.2 查询 GPU 详细信息

nvidia-smi -q

3.3 查询特定 GPU 详细信息

nvidia-smi -q -i 0

3.4 显示 GPU 特定信息

nvidia-smi -q -i 0 -d MEMORY

3.5 帮助命令

nvidia-smi -h