软件角度解读cuda

1.什么是gpgpu

用图形加速器进行通用型计算。卷积、深度学习等基本算子都是矩阵运算。（卷积操作、反卷积操作）

2.什么是cuda

Compute Unified Device Architecture

可以做传统意义上的科学计算，可以做深度学习算法的计算部署。不仅代表一个类c的编程语言，同时也代表nv这一套监控性能、调试的工具链

overview

写一个cuda程序并不困难，困难的是如何利用硬件尽可能地榨取cuda的性能，比如一个浮点运算，如何尽可能地接近性能的峰值。

CUDA-C

包含host代码（cpu代码），gpu代码。串行在cpu端跑，并行在gpu上执行。

CUDA的硬件设备和线程

计算设备

• 和cpu或者host协作
• 有自己独立的dram
• 可以并行地跑很多的线程
• 一般而言是gpu，但是也可以是其它类型的并行处理设备

gpu和cpu线程的区别

• gpu线程非常轻量
• gpu可以同时跑几千几万个线程（GPU的线程几倍-几十倍于gpu）

!

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6Vimru77-1663642897703)(%E8%BD%AF%E4%BB%B6%E8%A7%92%E5%BA%A6%E8%A7%A3%E8%AF%BBcuda%20ae2c445c594242ea8e6fb866d90a89d0/Untitled%202.png)]

ptx 中间层代码 ptx会根据具体的target进行gpu code的编译