CUDA存储单元 【参加CUDA线上训练营】

已于 2023-02-08 16:34:26 修改
阅读量217 收藏
点赞数
分类专栏： CUDA学习笔记 文章标签： c语言
于 2023-02-08 09:41:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_8j/article/details/128922422
版权
文章详细介绍了GPU内存的不同类型，包括Register寄存器、Sharedmemory、LocalMemory、ConstantMemory、TextureMemory和GlobalMemory，以及它们的特性和使用场景。同时，讨论了内存分配、释放和CPU-GPU间内存拷贝的函数，如cudaMalloc和cudaMemcpy。文章还提到了内存优化中的bankconflict问题及解决策略。
摘要由CSDN通过智能技术生成

目录

存储单元

Register 寄存器

Shared memory

Local Memory

Constant Memory

Texture Memory

Global Memory

常用内存函数

memory allccation/release 内存申请/释放

memory copy between cpu and gpu   cpu与gpu之间的内存拷贝

存储单元

global memory  全局内存

constant memory  常量内存

texture memory  纹理内存

local memory 本地内存

shared memory 共享内存

register 寄存器

​

 

on chip memory 黄色：GPU上的内存，速度快，空间小，寄存器和共享内存，常量缓存和纹理缓存在片上

on board memory 蓝色：位于PCB板子上的内存，速度慢，空间大，本地内存、全局内存、常量内存、纹理内存

 

Register 寄存器

最低0.47元/天 解锁文章
Mr_8j
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案
weixin_43178406的博客
06-07 8万+
本文主要介绍了已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案，希望能对使用bitsandbytes库的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Pytorch RuntimeError: No CUDA GPUs are available解决方案
热门推荐
weixin_43178406的博客
04-07 8万+
本文主要介绍了使用Pytorch产生错误提示：RuntimeError: No CUDA GPUs are available的解决方案，希望能对使用Pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 步骤一 2.2 步骤二 2.3 步骤三
CUDA中float3的合并访存问题
qq_43116001的博客
03-03 154
介绍了CUDA中的float3数据合并访存问题
CUDA程序优化方法
changyi9995的博客
04-14 894
使用共享内存减少全局内存读取次数 减少全局内存的重复数据的重复访问，此处大有学问，需要设计我们的线程组织模式，最大可能利用共享内存，可参考矩阵乘法优化问题； 把全局内存绑定为纹理； 纹理的存取速度要远高于全局内存 减少bank conflict, 让不同线程读取连续内存。 Tesla 的每个 SM 拥有 16KB 共享存储器，用于同一个线程块内的线程间通信。为了使一个 half-warp 内的线程能够在一个内核周期中并行访问，共享存储器被组织成 16 个 bank，每个 bank 拥有 32bi..
CUDA学习笔记2——全局内存的合理使用（以矩阵转置为例，讲述全局内存的合并访问以及__ldg()）
illyh的博客
12-10 1650
（PS：在一次数据传输中，转移的一片内存的首地址一定是32的整数倍，例如一次数据传输只能从全局内存读取地址为0到31字节、32到63字节等片段的数据；合并访问指的是一个warp对全局内存的一次访问请求导致最少数量的数据传输。第一个线程块中的warp访问x的1到32号元素（标号从0开始），假设x的首地址是256字节，那么该warp访问的数据对应的地址是260到387字节。在这里，对A的访问是非合并的，对B的访问是合并的（相邻线程访问相邻矩阵元素）。在这里，对A的访问是合并的，对B的访问是非合并的。
使用CUDA做Reduce算子优化
最新发布
weixin_44604698的博客
05-23 502
文章运用了shuffle、合并访存和shared memory三种手段来优化reduce算子。
CUDA C编程（十四）合并的全局内存访问
AAAA202012的博客
01-04 1781
   基 准 转 置 内 核    使 用 共 享 内 存 的 矩 阵 转 置    使 用 填 充 共 享 内 存 的 矩 阵 转 置    使 用 展 开 的 矩 阵 转 置    增 大 并 行 性   
参加cuda线上训练营学习笔记-3
qq_47465913的博客
02-09 188
cuda训练营学习笔记
RuntimeError Cuda extensions are being compiled...Pytorch binaries were compiled with Cuda 11.7解决方案
weixin_43178406的博客
07-09 6万+
本文主要介绍了RuntimeError: Cuda extensions are being compiled with a version of Cuda that does not match the version used to compile Pytorch binaries. Pytorch binaries were compiled with Cuda 11.7解决方案，希望能对使用Pytroch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
V100 GPU服务器安装CUDA教程
weixin_43178406的博客
11-21 5万+
本文主要介绍了V100 GPU服务器安装CUDA教程，希望能对安装V100 GPU服务器的同学们有所帮助。 文章目录 1. 背景描述 2. 下载CUDA文件 3. 安装CUDA文件 4. 检验CUDA安装效果
CUDA之Global memory合并访问Coalesced详解
Bruce_0712的博客
03-23 1万+
在之前我们采取了两个主要的措施分别取隐藏和减少latency： 1 . 我们一方面通过大量线程并行的方法去不断读取内存（当一个 thread 读取内存，开始等待结果的时候，GPU 就可以立刻切换到下一个 thread，并读取下一个内存位置）来尽可能的隐藏latency。 2 . 另一方面我们采取了连续的内存存取模式，尽量减少latency，关于所谓的连续存储我们再详细说明一下： 其实更精确的
【参加CUDA线上训练营】CUDA进阶之路 - Chapter 5 - 多种CUDA存储单元详解
weixin_43908429的博客
02-11 571
寄存器、shared memory、local memory、constant memory、texture memory、unified memory、global memory、基于ARM平台的Jetson Nano存储单元调用
gpu显存（全局内存）在使用时数据对齐的问题
打不死的心态活到老
08-05 7694
全局存储器，即普通的显存，整个网格中的任意线程都能读、写全局存储器的任意位置。存取延时为400-600 clock cycles，非常容易成为性能瓶颈。访问显存时，读取和存储必须对齐，宽度为4Byte。如果没有正确的对齐，读写将被编译器拆分为多次操作，降低访存性能。
CPU访存流程深度剖析
发现问题，并解决问题，批判性思维
02-26 5951
废话不多说，先上图： 1.CPU访问存储系统的整体流程 （1）提供逻辑地址 程序员交给CPU的是逻辑地址，要进行虚实地址转换才能找到该虚拟地址所对应的数据实际存放的位置。 （2）虚实地址转换 虚页号与实页号的对应关系存在页表（页表存在主存）中，比较活跃的页表项存在TLB中（TLB相当于专用于存页表项的Cache）。故转换时先查TLB，若TLB不命中，再查页表，若页表还不命中，说明该页...
CUDA总结：合并访问coalesced
Kelvin_Yan的专栏
12-12 1万+
传输延迟（latency）在host端和device端之间存在latency，数据通过PCI-E总线从CPU传输给GPU，我们必须避免 频繁的host、device间数据传输，即使是最新的PCIE 3.0 x16接口，其双向带宽也只有32GB/s在device内部也存在latency，即数据从gpu的存储器到multi-processor（SM）的传输。 访问一次全局内存，将耗费400~60
3.1 全局存储带宽与合并访问　-- Global Memory(DRAM) bandwidth and memory coalesce
weixin_34344677的博客
01-08 283
全局存储带宽(DRAM) 全局内存是动态随机访问的方式访问内存．我们希望访问DRAM的时候非常快，实际情况是DRAM中出来的数据非常非常慢，这就好比，理想状态是泄洪，水倾巢而出，气势宏伟，实际取水却像是用吸管在喝饮料，速度非常慢． 通常来看，我们会通过优化算法减少DRAM的访问次数． 由上图可以看出，用户访问需要的Address会被分成Row addr和Column address,　通...
CUDA性能调优（一）--合并访问&循环展开
学习使我快乐
03-25 5596
当同一个warp中的所有线程都执行同一条指令访问全局存储器中的单元时，就获得最有利的访问模式。这种情况下，硬件把所有的这些访问结合或者合并成一个队DRAM连续单元的合并访问。 合并访问可以提高DRAM的带宽利用率，使DRAM在传输数据时的速度接近全局存储器带宽的峰值。 示例如下： 1  在普通GPU矩阵相乘中的两种访问模式 2  在使用shared memory的矩阵相乘中，使
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值