CUDA C编程及GPU基本知识【二】

最新推荐文章于 2024-02-03 20:34:01 发布
最新推荐文章于 2024-02-03 20:34:01 发布
阅读量707 收藏 4
点赞数 1
文章标签： c++ 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23022733/article/details/131537716
版权

文章目录

1、CPU和GPU的架构

吞吐：单位时间内处理的指令条数
延迟：一条指令从发出到返回结果所需要的时间

在这里插入图片描述

2、CPUs: 延迟导向设计和GPUs: 吞吐导向设计

2.1 CPUs: 延迟导向设计

处理运算的速度远高于存储访问的速度，以空间换时间的方式，所以CPU设计了这种多级缓存的结构。

在这里插入图片描述

2.2 GPUs: 吞吐导向设计

在这里插入图片描述

2.3 GPU&CPU特点

在这里插入图片描述

2.4 GPU编程：什么样的问题适合GPU

计算密集：数值计算的比例要远大于内存操作，因此内存访问的延时可以被计算掩盖。
数据并行：大任务可以拆解为执行相同指令的小任务，因此对复杂流程控制的需求较低。

3、GPU编程与CUDA

CUDA（Compute Unified Device Architecture），由英伟达公司2007年开始推出，初衷是为GPU增加一个易用的编程接口，让开发者无需学习复杂的着色语言或者图形处理原语。

OpenCL（Open Computing Languge）是2008年发布的异构平台并行编程的开放标准，也是一个编程框架。OpenCL相比CUDA，支持的平台更多，除了GPU还支持CPU、DSP、FPGA等设备。

3.1 CUDA编程并行计算整体流程

1个CUDA程序可以分为3个步骤，第一个步骤是从主机端（CPU）申请内存，然后再把主机中内存的内容拷贝到设备端（GPU），第二个步骤是设备端的核函数进行计算，第三个步骤是把设备端内存的内容拷贝到主机，最后释放显存和内存。

在这里插入图片描述

3.2 CUDA编程术语
3.2.1 硬件

Device=GPU
Host=CPU
Kernel=GPU上运行的函数

在这里插入图片描述

3.2.2 内存模型

CUDA模型最基本的单位是线程处理器（SP）
多个线程处理器（SP）和一个shared memory（共享内存）构成一个多核处理器（SM），多个线程处理器（SP）之间是并行运行的
多个多核处理器（SM）和一个global memory（全局内存）构成一个GPU，多个多核处理器（SM）之间是并行运行的

在这里插入图片描述

3.2.3 软件

在这里插入图片描述

3.2.4 线程块：可扩展的集合体

线程：内存模型在软件侧最基本的执行单位
线程块：线程的组合体；有3个特点：1、线程块内的所有线程各自独立计算和访问存储，2、线程块内的共享内存可以被线程块内的所有线程所共享，3、用一个共有的时钟来去将线程块内的所有线程来进行一个同步和原子操作，进而保障线程块内所有线程的同步性。

如下图，一个线程块由256个线程所组成，各个线程独立计算，最后由一个时钟来将256个线程独立计算的结果进行同步

在这里插入图片描述

3.2.5 网格（grid）：并行线程块组合

网格定义：线程块的组合体
网格也有3个特点：1、网格内的线程块彼此独立，互不影响，2、网格中的全局内存可以由各个线程块访问，3、可以用一个公有的时钟来同步网格内的所有线程块

在这里插入图片描述

3.2.6 线程块id&线程id：定位独立线程的门牌号

核函数是在设备端执行的函数，内存模型一个非常关键的一点是内存和显存之间的拷贝，当核函数调用每个线程的寄存器和局部内存的时候，需要确定线程在显存中的位置

blockIdx：线程块索引，
threadIdx:线程索引，
如下图，Grid 1是网格，是由2x2个线程块（Block）组成，每个线程块（Block）是由2x4x2个线程组成

在这里插入图片描述

3.2.6.1 线程id计算

如下图，Grid 1是由2x2个Block组成，所以M为2，N也为2；每个Block是由4x2x2个Thread组成，所以P为4，Q为2，S为2

threadId.x：线程x的索引，它等于线程块x维度的索引乘以线程块x维度的大小，再加上线程x维度的索引； 以此类推threadId.y

在这里插入图片描述

3.2.7 线程束（warp ）

在这里插入图片描述

4、 并行计算实例：向量相加

在这里插入图片描述

全息数据
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GPU高性能编程CUDA实战
11-01
UDA是一种专门为提高并行程序开发效率而设计的计算架构。..., 《GPU高性能编程CUDA实战》适合具备C或者C++知识的应用程序开发人员、数值计算库开发人员等，也可以作为学习并行计算的学生和教师的教辅。
计算机组成与设计学习——GPU篇（三）：GPU编程_续
最新发布
zbw2015623的博客
02-08 1092
CUDA、Brook 和 CAL 是专为 GPU 设计的编程接口，它们关注的是数据并行计算而非图形处理。CAL（Compute Abstraction Layer）是 AMD GPU 的低级汇编语言接口。Brook 是一种由 Buck 等人[2004]针对 GPU 改进的流式编程语言。CUDA 由 NVIDIA 公司[2007]开发，是对 C 和 C++ 语言的扩展，旨在实现多核 GPU 和多核 CPU 的可扩展并行编程。本节内容根据 Nickolls 等人[2008]的文章，描述了 CUDA 编程模型。
gpu 编程
ltd0924的博客
03-29 7371
由于项目原因，需要对CPU代码进行cuda代码转换，从而达到加速的目的，在这里监督介绍一下整个转换的流程。 cuda代码与c++代码其实相似性很高，其核心点在于如何在cpu调用gpu进行线程分配，从而达到加速计算的目的。 对于gpu，必须包含的头文件有cuda_runtime.h，device_launch_parameters.h 这两个头文件是用来检测gpu显卡以及对其内存进行操作。 1. 确认可使用设备 struct cudaDeviceProp properties; cuda
计算机组成与设计学习——GPU篇（三）：GPU编程
zbw2015623的博客
02-03 1213
本节简要介绍如何使用图形API和编程语言来为实时图形应用程序编程GPU
CUDA C语言
Zender
07-20 2272
CUDA C不是C语言，而是对C语言进行扩展。CUDA对C的扩展主要包括以下四个方面：函数类型限定符，用来确定函数是在CPU还是在GPU上执行，以及这个函数是从CPU调用还是从GPU调用。 device，device表示从GPU上调用，在GPU上执行；global，定义一个keinel函数,入口函数,表示在CPU上调用，在GPU上执行，也就是所谓的内核(kernel)函数；内核主要用来执行多线程调
GPU基础与CUDA编程入门
qq_43398345的博客
05-04 1754
预取是一种内存管理策略，旨在减少内存访问延迟，从而提高计算性能。预取机制通过预先加载数据到高速缓存（例如，从全局内存到共享内存或纹理内存）来实现这一目标，以便在执行计算任务时减少等待时间。GPU的预取机制有两种形式：硬件预取：这是由GPU硬件自动实现的预取机制，不需要程序员进行显式操作。GPU内部的内存控制器会预测内存访问模式，提前将可能需要的数据加载到高速缓存中。这种预取机制在许多现代GPU架构（如NVIDIA的Pascal、Volta和Ampere架构）中都有实现。
GPU编程个人入门（中）
jhp1266987的博客
10-04 506
实现算法并行是第一步，但是后续的优化会大幅度影响算法运行速度，这里讲一些可以后续优化的点。GPU优化比较麻烦的是，不一定优化会起作用，因此要把所有方法都试一遍，才能知道是（优化前，优化A，优化B ...）那种最适合自己的问题 参考学习视频 链接：https://pan.baidu.com/s/1NlFZS2EHdY86z09AlR41Jg 提取码：1234 1.warm up 第一次运行程序可能由于GPU没有完全启动，导致时间过慢，可以在程序开始中加一个空转函数，这个函数不计时，让GPU完全运转。.
GPU编程学习入门
千人斩的博客
10-05 5343
本文使用的显卡是Nvidia,编程语言是CUDA。 本文主要是记录一下学习GPU编程的过程，在一到两天的时间里，对GPU编程思想有一个大概的认识，为将来深入学习打下基础，也对GPU编程可以解决的问题边界有一个认知，不被讲PPT的忽悠。
初识GPU编程
manong_dashen的博客
05-08 3703
初识GPU编程 基本概念 CPU和主存被称为主机（Host），GPU和显存（显卡内存）被称为设备（Device），CPU无法直接读显存，GPU无法直接读主存，通过Bus相互通信。 检查是否安装了CUDA $conda install cudatoolkit 安装 Numba库 $ conda install numba 检查CUDA与Numba是否安装成功 from numba import cuda print(cuda.gpus) cuda会独占一张卡，默认0号，可以使用 CUDA_VISIBL
CUDA 编程上手指南：CUDA C 编程及 GPU 基本知识
极市平台的技术博客
12-21 2183
作者丨科技猛兽 编辑丨极市平台 本文原创首发于极市平台，转载请获得授权并标明出处。 推荐大家关注极市平台公众号，每天都会更新最新的计算机视觉论文解读、综述盘点、调参攻略、面试经验等干货~ 目录 1 CPU 和 GPU 的基础知识 2 CUDA 编程的重要概念 3 并行计算向量相加 4 实践 4.1 向量相加 CUDA 代码 4.2 实践向量相加 5 给大家的一点参考资料 1 CPU 和 GPU 的基础知识 提到处理器结构，有2个指标是经常要考虑的：延迟和吞吐量。所谓延迟，是指从发出指令到最终返回结果中
CUDA C编程入门
coder_Alger 的博客
04-06 6591
cuda 程序的基本步骤如下： 在 cpu 中初始化数据 将输入 transfer 到 GPU 中 利用分配好的 grid 和 block 启动 kernel 函数 将计算结果 transfer 到 CPU 中 释放申请的内存空间 从上面的步骤可以看出，一个 CUDA 程序主要包含两部分，第一部分运行在 CPU 上，称作 Host code，主要负责完成复杂的指令；第二部分运行在 GPU 上，称作 Device code，主要负责并行地完成大量的简单指令（如数值计算）； 2. 基本设施 运
CUDA C编程基础知识
11-13
本人自己整理的cuda c编程的文档，富含一些基础知识，适合那些刚刚入门的初学者学习，是一个比较全的基础知识文档。
一文了解GPU并行计算CUDA
Lion_Long的博客
02-28 7127
CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA™架构编写程序，所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。CUDA3.0已经开始支持C++和FORTRAN。
2023年的深度学习入门指南(9) - SIMD和通用GPU编程
lusing的专栏
04-24 1848
深度学习从一开始就跟GPU有不解之缘，因为算力是深度学习不可或缺的一部分。时至今日，虽然多任务编程早已经深入人心，但是很多同学还没有接触过CPU上的SIMD指令，更不用说GPGPU的编程。这一篇我们先给SIMD和GPU编程扫个盲，让大家以后用到的时候有个感性认识。
GPU加速02:超详细Python Cuda零基础入门教程，没有显卡也能学！
WANGJUNAIJIAO的博客
12-16 4802
Python Numba库可以调用CUDA进行GPU编程，CPU端被称为主机，GPU端被称为设备，运行在GPU上的函数被称为核函数，调用核函数时需要有执行配置，以告知CUDA以多大的并行粒度来计算。使用GPU编程时要合理地将数据在主机和设备间互相拷贝。GPU程序执行流程初始化，并将必要的数据拷贝到GPU设备的显存上。使用某个执行配置，以一定的并行粒度调用CUDA核函数。CPU和GPU异步计算。将GPU计算结果拷贝回主机。
C++编程笔记(GPU并行编程)
刀刀的博客
11-10 4336
window+CLion配置并行编程
浅析GPU计算——cuda编程
热门推荐
方亮的专栏
02-13 4万+
在《浅析GPU计算——CPU和GPU的选择》一文中，我们分析了在遇到什么瓶颈时需要考虑使用GPU去进行计算。本文将结合cuda编程来讲解实际应用例子。（转载请指明出于breaksoftware的csdn博客） 之前我们讲解过，CPU是整个计算机的核心，它的主要工作是负责调度各种资源，包括其自身的计算资源以及GPU的计算计算资源。比如一个浮点数相乘逻辑，理论上我们可...
GPU编程
小白菜的博客
11-14 300
GPU编程既要考虑CPU硬件也要考虑GPU硬件。这种编程称为代码从CPU上开始执行，遇到需要大量并行化的部分，再到GPU上并行，然后将结果返还给CPU再进行其他可能的计算。
shane cook cuda并行程序设计 gpu编程指南.pdf
06-25
### 回答1： 《Shane Cook Cuda并行程序设计：GPU编程指南》（CUDA Programming: A Developer's Guide to Parallel Computing with GPUs）是一本深入介绍了GPU编程的指南。本书主要介绍了CUDA（Compute Unified Device Architecture）编程框架，其中包括如何使用CUDA C/C++编写高效的并行程序。书中不仅涵盖了CUDA的基础知识和编程模型，还详细介绍了CUDA的优化技术和性能分析方法。在这本书中，读者不仅可以学习到如何使用CUDA来利用GPU的并行特性，还能掌握如何将串行代码转换为高效的并行代码。 本书的内容分为基础、优化和应用三部分。在基础部分，作者详细介绍了CUDA编程的基本概念，包括线程与线程块、内存层次结构、流和事件等。在优化部分，作者讲解了如何使用CUDA优化程序性能，包括使用共享内存、纹理内存、常量内存、异步拷贝等技术。在应用部分，作者讲解了如何使用CUDA来实现各种应用程序，包括图像处理、矩阵运算、机器学习、科学计算等领域。 总之，《Shane Cook Cuda并行程序设计：GPU编程指南》是一本全面深入的GPU编程指南，无论是初学者还是有经验的开发人员都能从中获益。它不仅能够帮助你深入了解CUDA编程，还能指导你如何使用CUDA来编写高效的并行程序。如果你正在学习GPU编程，或者想要深入了解CUDA的话，《Shane Cook Cuda并行程序设计：GPU编程指南》是一本不可错过的好书。 ### 回答2： Shane Cook的《CUDA并行程序设计 GPU编程指南》是一本对于CUDA编程非常有帮助的书目。CUDA是一种由NVIDIA发明的GPU编程技术，利用GPU的并行计算能力来加速计算。这本书讲解了如何使用CUDA来进行并行程序设计，从简单的程序开始直到更加复杂的并行算法，包括深度学习和计算机视觉应用。 这本书介绍了CUDA编程的基本概念和技术，如CUDA内存模型和内存层次结构，CUDA线程、块和网格的组织方式，以及CUDA核函数的编写和调用。此外，它还介绍了CUDA运行时API和CUDA驱动程序API，这些API提供了许多方便的功能来帮助开发人员进行GPU编程。 在本书中，每个章节都通过实例来讲解CUDA编程的主题。例如，第三章介绍了如何使用CUDA实现矩阵乘法和矩阵转置，第六章讲解了如何使用CUDA进行图像处理，第九章讲解了如何用CUDA实现K-means聚类算法，第十章介绍了如何使用CUDA进行深度学习。 此外，该书还讨论了许多有用的主题，如CUDA线程同步、CUDA错误处理和调试技巧、共享内存和纹理内存的使用等。这些信息对于了解CUDA编程非常有用，特别是对于需要处理大量数据和进行CPU-GPU协同计算的应用程序。 总之，《CUDA并行程序设计 GPU编程指南》是一本非常好的CUDA编程入门书籍，它详尽地讲解了CUDA编程的理论和实践，为开发人员提供了丰富的知识和实用的技能。如果您想了解并行计算和GPU编程，这本书是一个非常好的起点。 ### 回答3： 《Shane Cook CUDA并行程序设计 GPU编程指南》是一本关于CUDA并行程序设计的教材。其中包含了CUDA的基础知识、并行算法和优化等内容，适合以CUDA为基础的GPU编程开发人员学习和参考。 本书全面阐述了CUDA编程的细节，包括GPU器件架构、CUDA内存管理、并行算法设计、性能优化和调试技巧等。其中，作者通过大量实例代码和图表的讲解，帮助读者深入理解CUDA编程的原理和技巧，快速掌握CUDA并行编程的各类问题。 此外，作者还对现有的GPU编程语言和框架进行了简洁的比较，指出CUDA在性能和编程效率方面的优势，为读者的GPU编程之路提供了有益的指导。 总之，《Shane Cook CUDA并行程序设计 GPU编程指南》是一本实用的CUDA编程手册，值得广大GPU编程开发人员参考借鉴。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值