cuda block grid等介绍

最新推荐文章于 2023-08-03 21:35:44 发布
最新推荐文章于 2023-08-03 21:35:44 发布
阅读量584 收藏 3
点赞数
分类专栏： Cuda 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/makeyouclimax/article/details/131002109
版权

这里写目录标题

cuda层次结构

在这里插入图片描述

程序架构

在这里插入图片描述

申请内存时是线性的内存，需要知道是按行还是按列排列
设计的好的话内存是对齐的
我们希望线程和内存都是线性排列对齐，效果就会很好。

层次结构

在这里插入图片描述
grid每个维度有多少block
block则是定义每个维度有多少线程

cuda程序调用

在这里插入图片描述

cuda 内置变量

在这里插入图片描述
建立全局一维排序，从而建立宏
从而按照逻辑顺序处理整个向量

处理矩阵的话可以用二维的网格和块

在使用 CUDA 进行矩阵乘法等大规模矩阵计算时，通常需要将输入矩阵按照块的形式划分为多个子矩阵，然后分配到不同的线程块中去计算，以充分利用GPU并行计算的优势。

对于二维的网格和块而言，其可以很好地描述矩阵的结构，这样可以方便地对每个块做相对应的操作。比如，我们可以定义一个2D线程块，其中每个线程块由多个2D线程组成，每个线程处理一个小块或者一个小行/列。然后，我们可以按行、列或元素交错地访问内存，使所有线程能更加高效地并行访问主机内存。

在处理一维向量时，可以考虑将其作为一个一维数组，在代码中可以从全局索引映射到局部索引。在这种情况下，通常需要对齐内存以提升访问速度和性能。具体来说，可以使用 __align__(n) 修饰符来对变量进行对齐处理，将其地址对齐到 n 的倍数上。例如，使用 __align__(16) 可以将变量地址对齐到16字节边界上。

对于单个块的情况，可以使用共享内存来提高访问速度，以便线程块中的所有线程都可以快速、有效地访问它。同时，在使用共享内存时，需要确保线程块中的线程都能够正常读写，以避免竞争条件的发生。

总之，在 CUDA 中处理矩阵和向量时，需要根据任务的具体特点进行灵活选择和处理，以充分发挥GPU并行计算的优势。

GPU内存模型

内存结构

在这里插入图片描述
在这里插入图片描述
每个MP都有L1，还有通过L2共享，和全局相连
在这里插入图片描述

可编程内存

可读可写

不可编程内存 cpu和gpu自己管理的内存
在这里插入图片描述

内存作用域

线程自己的内存一般都是用完了就释放了
在这里插入图片描述

寄存器

在这里插入图片描述

本地内存

在这里插入图片描述

共享内存

在这里插入图片描述
比方共享32k L1自己的16k
在这里插入图片描述

共享内存访问冲突

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
有一些优化机制，比如说广播

常量内存

在这里插入图片描述
在这里插入图片描述

全局内存

常说的显存，比方说8g 16g
延迟最高，通过l2和mp相连

读的时候有cache 写的时候没有 GPU通过cache大幅度提高效率
在这里插入图片描述
在这里插入图片描述
有些数据用不到会降低吞吐量

gpu缓存

在这里插入图片描述
因为这些缓存的存在提前将要读的数据 load， 极大提高效率

石林徒步全球
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Block-Matching-CUDA:并行块匹配算法
05-15
Block-Matching-CUDA 并行块匹配算法，详细说明参考：
CUDA.rar_CUDA介绍_cuda
09-24
这里介绍了CUDA的基本知识，看了这之后，可以对CUDA有个很好的整体认识
CUDA学习----sp, sm, thread, block, grid, warp概念 .docx
03-20
sp, sm, thread, block, grid, warp概念介绍。
cuda介绍ppt
04-10
cuda详细介绍，主要包括矩阵相乘，架构设计，内存拷贝，内存分配等知识
【cuda编程】CUDA的运行方式以及grid、block结构关系
非晚非晚的博客
10-26 2900
从GPU至线程的关系依次为：显卡（GPU）->网格（grid）->线程块（block）->线程（thread） 。从网格开始最大为3维，当然也可以1维了。 网格(grid)：一个内核函数(kernel)就是一个网格，里面所有线程都在这个网格范围内，里面的线程共享全局内存空间 线程块(block)：一个网格可以包含很多个block，block之间可以通过“同步”和“共享内存”进行协作，block之间的区分通过“blockIdx” 线程(thread)：一个线程块可以包含很多个thread，thread之间区
Cuda 程序设计中 Grid 和 Block 维度设置的注意事项
程序猿视角
03-26 5277
1. Cuda 线程的 Grid 架构 Cuda 线程分为 Grid 和 Block 两个级别，Grid、Block、Thread 的关系如下图。 一个核函数目前只包括一个 Grid，也就是图中的 Grid0。 一个 Grid 可以包括若干 Block，具体数量的上限没有查到。 一个 Block可以最多包括 512 个 Thread。 2. GPU 的 SM 架构 GPU 由多个 SM 处理器构成，一个 SM 处理器包含 8 个 SP 核。一个 SP 核可同时处理 32 个线程，实际上就是同一套指令重
CUDA：网格（Grid）、线程块（Block）和线程（Thread）
ywfwyht的博客
05-26 2322
Grid是最高级别的线程组织方式，Block位于Grid下一层，表示一个线程块，Thread是最小的线程单位，Block中包含一定数量的Thread。CUDA的基本运算单元是线程（Thread），线程被组织成线程块（Thread Block），线程块又被组织成网格（Grid）。在CUDA中，一个计算任务被分成多个线程，并且这些线程被组合成一个或多个线程块，线程块被组合成一个或多个网格，以执行并行计算。中，每个线程块中的每个线程都会计算一个数组中的元素的和，最终得到结果数组。是要执行的CUDA函数名。
1. CUDA中的grid和block
最新发布
bobchen1017的博客
08-03 1381
/ 确保内核完成后才继续执行主机代码 }
CUDA软件架构—网格（Grid）、线程块（Block）和线程（Thread）的组织关系以及线程索引的计算公式
热门推荐
牧野的博客
02-04 4万+
网格（Grid）、线程块（Block）和线程（Thread）的组织关系 CUDA的软件架构由网格（Grid）、线程块（Block）和线程（Thread）组成，相当于把GPU上的计算单元分为若干（2~3）个网格，每个网格内包含若干（65535）个线程块，每个线程块包含若干（512）个线程，三者的关系如下图： Thread，block，grid是CUDA编程上的概念，为了方便程序员软件
CUDA中如何选择Block的尺寸
04-11
CUDA中如何选择Block的尺寸 需要考虑的因素 如何分配效率最高
CUDA的Block和Grid详解
Dezeming的博客
07-07 7795
一般CUDA会把线程分为Block和Grid： 这里方便介绍我们用的都是二维的结构，其实Block和Grid也可以设置成三维的。 blockDim.x：Block的x方向的维度，这里是5，即每行5个线程。 blockDim.y：Block的y方向的维度，这里是3，即每列3个线程。 blockIdx.x:Block在x方向的位置，图中放大的Block是2，即为第2个。 blockIdx.y:Block在y向的位置，图中放大的Block是2，即为第2个。 注意blockIdx中的Idx是表示in
CUDA 网格（Grid）、线程块（Block）和线程（Thread）的组织关系以及线程索引的计算公式
风源-
04-15 2975
网格（Grid）、线程块（Block）和线程（Thread）的组织关系 CUDA的软件架构由网格（Grid）、线程块（Block）和线程（Thread）组成，相当于把GPU上的计算单元分为若干（2~3）个网格，每个网格内包含若干（65535）个线程块，每个线程块包含若干（512）个线程，三者的关系如下图： Thread，block，grid是CUDA编程上的概念，为了方便程序员软件设计，组织线程。 thread：一个CUDA的并行程序会被以许多个threads来执行。 block：数个threads会被群
CUDA中block和thread的合理划分配置
牧野的博客
02-04 3万+
CUDA并行编程的基本思路是把一个很大的任务划分成N个简单重复的操作，创建N个线程分别执行执行，每个网格（Grid）可以最多创建65535个线程块，每个线程块（Block）一般最多可以创建512个并行线程，在第一个CUDA程序中对核函数的调用是： addKernel>>(dev_c, dev_a, dev_b); 这里的>>运算符内是核函数的执行参数，告诉编译器运行时如何启动核函数，用于说明内
CUDA：（三）threadIdx, blockIdx, blockDim, gridDim，warpsize的理解
Felaim的博客
01-30 4594
小伙伴们看了是不是有点晕呢，其实LZ现在对于CUDA理解也是很浅显，算是看书的一个笔记吧 首先threadIdx, blockIdx, blockDim, gridDim，warpsize这五个变量都是CUDA的内建变量 gridDim： 指定grid维度，类型为dim3 blockDIm： 指定block维度，类型为dim3 blockIdx: 指定grid内block索引号，类型为uint3 ...
cuda的block同步方法对比
juzhen1991的博客
12-12 888
测试了两种cuda的块同步方式，分别是加锁和不加锁。在3090上，加锁方法实际更快，可以忽略。
CUDA 关于 BLOCK数目与Thread数目设置
weixin_30650859的博客
08-30 1757
GPU的计算核心是以一定数量的StreamingProcessor(SP)组成的处理器阵列，NV称之为TextureProcessingClusters(TPC)，每个TPC中又包含一定数量的StreamingMulti-Processor(SM)，每个SM包含8个SP。SP的主要结构为一个ALU（逻辑运算单元），一个FPU（浮点运算单元）以及一个Regi...
如何确定cuda程序的block数量和线程数量
我的笔记
02-10 9167
第一步获取GPU硬件有多少block，有多少线程，代码如下 int getThreadNum() { cudaDeviceProp prop; int count; HANDLE_ERROR(cudaGetDeviceCount(&count)); printf("gpu num %d\n", count); HANDLE_ERROR(cudaGetDeviceProperties(&prop, 0)); printf("max thre
cuda 单block多线程
m0_38036750的博客
10-28 370
cuda单block多thread的实现 #include <iostream> #include <cuda_runtime.h> #include <stdio.h> #include <time.h> #include <stdlib.h> #include <string.h> __global__ void g...
CUDA 学习笔记 —— （四）block和thread
Charles Ren's Tech Blog
03-31 1492
blocks和threads // Kernel definition // Run on GPU __global__ void add(int *a, int *b, int *c) { // blockIdx.x is the index of the block. // Each block has blockDim.x threads. // threadIdx.x is the index of the thead. // Each thread can perform 1 addition.
cuda中grid，block、thread
03-16
在CUDA中，grid、block和thread是三个重要的概念。 Grid是一个由多个block组成的二维数组，用于描述并行计算的总体规模。每个block都可以包含多个thread。 Block是一个由多个thread组成的三维数组，用于描述并行计算的一个小规模。每个block中的thread可以协同工作，共同完成一个任务。 Thread是CUDA中最小的执行单元，每个thread都可以独立执行一些计算任务。在一个block中，所有的thread都可以访问同一块共享内存，并且可以通过同步机制来协同工作。 通过合理的设置grid、block和thread的数量，可以充分利用GPU的并行计算能力，提高程序的执行效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值