Nsight软件简介

Nsight

Nsight包含以下三部分

Nsight System

cpu threads
每个线程运行的情况和使用率
cpu的状态
OS runtime librarys的使用情况（file、io、pthread）
api 的使用情况（cuda/cuDNN/cuBLAS/TensorRT）
OS runtime library
识别每个调度周期内那些进程被blocked，并分析原因
显示api的调用栈，blocked的函数位置
cuda api
跟踪api 的调用栈信息
locate 对应的cuda workload和gpu信息
gpu workload
显示workload执行的时间
显示idle的gpu时间
nvtx instrumentation
从时间线分析api的信息，显示每个api执行的时间
如何在代码层面添加一个debug信息显示当前函数的执行时间
image
Nsight Systems is a system-level profiler

Nsight Compute

抓取报告文件例如内存碎片
根据不同的报告文件生成不同的结果
快速的数据收集
关键特性
API stream
使用api stream 进行交互式分析以下情况
Run to the next (CUDA) kernel
Run to the next (CUDA) API call
Run to the next range start
Run to the next range stop
Sections
记录设备上的每一个事件活动信息，并根据事件信息分析特定的指标，并在多组指标中寻找优化点
主要包含以下信息的：
cpu
memory
latency（延迟）
Unit details
主要包含以下模块
image
case
cpu workload analysis（流水线级别的分析）
Wrap scheduler statisticcs （调度器的统计）
Warp State Statistics
stall reason
an instruction fetch
a memory dependency
an execution dependency
a pipeline is busy
a synchronization barrier
Memory workload analysis
详细分析gpu内存的使用情况，包括带宽，和总线的繁忙程度，以及其他影响性能的因素
launch statistics
详细的分析gpu的资源，比如程序中的指令分发
帮助我们理解gpu的workload，以及共享内存和寄存器是如何影响占用的
source conters statistics
指明低效的内存访问，包含共享内存和全局内存
source page
理解nvcc生成的代码
understand stall reason
结果依赖
共享内存结果依赖或者频繁MUFU
等待本地的或者全局的指令操作队列没有满，并且只有在频繁的执行本地或者全局共享内存的指令时才会出现延迟
等待MIO（memory input output）指令队列没有满，并且只有频繁的在执行LDS MUFU 或者动态的分支预测
等待管道变成可用状态。
Nsight Compute is for kernel profiling tool

Nsight Graphics

安装指南
NV安装指南链接如下
https://docs.nvidia.com/nsight-systems/InstallationGuide/index.html
使用的抓取工具perf
要求Linux 操作系统的 perf_event_paranoid 级别必须为 2 或更低。使用以下命令进行检查：cat /proc/sys/kernel/perf_event_paranoid 如果输出>2，则执行以下操作以临时调整偏执级别（注意，每次重启后都必须这样做）：sudo sh -c ‘echo 2 >/proc/sys/kernel/perf_event_paranoid’ 要使更改永久生效，请使用以下命令：sudo sh -c ‘echo kernel.perf_event_paranoid=2 > /etc/sysctl.d/local.conf’
内核版本要求
CentOS 和 RedHat Enterprise Linux 7.4+ 的 3.10.0-693 或更高版本
适用于包括 Ubuntu 在内的所有其他发行版
注意：
只有 CentOS、RedHat 和 Ubuntu 发行版经过测试/确认可以正常工作
用户指南
https://docs.nvidia.com/nsight-systems/UserGuide/index.html
nsys 命令
nsys [global_option]
gloabal_option
image
nsys [command_switch] [可选命令开关选项] [应用程序] [可选应用程序选项]
command_switch

上面具体每个命令如何使用，请参考用户指南链接
nsys 生成的文件
.nsys-rep
.nsys-rep 报告格式是 Nsight Systems唯一应被视为向前兼容的数据格式，Nsight Systems能够从 .nsys-rep 结果文件中导出 SQLite 数据库文件。SQLite 模式可以并且将来会改变。可以使用 sqlite3 工具内置命令获取具体数据库的架构.schema. sqlite3 工具可以位于Nsight Systems 安装的 Target 或 Host 目录中。目前表是惰性创建的，因此并非文档中描述的每个表都会出现在特定数据库中。这将在产品的未来版本中改变。如果您想要所有可能表的完整架构，请使用nsys导出 --lazy=false 在出口阶段。目前，为导出的数据库中的每种数据类型创建一个表。由于导出数据的使用模式可能会有很大差异，并且没有建立默认用例，因此没有创建索引或额外的约束。相反，请参阅 SQLite 示例部分以获取常用配方列表。这可能会在产品的未来版本中发生变化。要检查导出的 SQLite 文件的版本，请检查 EXPORT_SCHEMA_VERSION在里面EXPORT_META_DATA 桌子。架构版本是一个常见的三值主/次/微版本号。第一个值或主要值表示数据库的整体格式，并且仅在整个数据库格式发生重大重写或重构时才会更改。假设如果主要版本发生变化，所有脚本或查询都会中断。中间版本或次要版本会在任何时候发生更本地化但潜在的破坏性更改，例如重命名现有列或更改现有列的类型。最后一个或微版本在有添加时随时更改。

NV参考链接

https://docs.nvidia.com/
https://docs.nvidia.com/nsight-compute/NsightComputeCli/index.html#command-line-options-profile
https://developer.nvidia.com/nsight-systems
https://docs.nvidia.com/nsight-systems/index.html
https://docs.nvidia.com/nsight-systems/UserGuide/index.html