CUDA编程1--GPU内存模型

最新推荐文章于 2024-05-01 00:03:32 发布
最新推荐文章于 2024-05-01 00:03:32 发布
阅读量633 收藏 3
点赞数
文章标签： GPU CUDA 并行计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011852872/article/details/125523209
版权

GPU架构

在这里插入图片描述

GPU内存类型及生命周期

GPU内存类型及生命周期

  • Local memory: 每个线程都有自己的私有本地内存及寄存器
  • Shared memory：可以被线程块中所有线程共享，周期与线程块一致；
  • Global memory：所有的线程都可以访问。平时所说的 “显存”，相对来说，速度最慢
  • Constant memory常量内存和texture memory纹理内存：只读内存块。所有线程均可访问。对于一个应用来说，全局内存、常量内存和纹理内存具有相同的生命周期。
  • L1 cache、L2 cache：每个MP有L1、L2 cache，MP 通过L2与global memory连接
    在这里插入图片描述

可编程内存

在这里插入图片描述

寄存器

在这里插入图片描述

本地内存

在这里插入图片描述
2.0 指GPU的计算能力

共享内存

在这里插入图片描述
Q: MDC的访存操作可否并行？(一个AIcore核内)

在这里插入图片描述

共享内存访问冲突

在这里插入图片描述

在这里插入图片描述
warp: 一个block中有若干个thread，每warpsize个thread称为一个warp [见 GPU的线程模型]

在这里插入图片描述
线程访问banks示意图，左图及右图1 均为无访问冲突
右图2 存在3 4 6 7 9线程同时访问一个bank，因此硬件会将请求分成5个没有冲突的访问序列。

常量内存

在这里插入图片描述

纹理内存

在这里插入图片描述

全局内存

在这里插入图片描述

全局内存对齐访问

在这里插入图片描述

GPU缓存

在这里插入图片描述

龙俊杰的读书笔记
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GPU并行计算与CUDA编程 - 副本.zip
09-18
线程块和网格是CUDA编程中并行执行的基本单位，而线程索引和内存模型则是理解和优化程序性能的关键。 第三课可能涉及CUDA内存层次，包括全局内存、共享内存、常量内存和纹理内存等。理解这些不同的内存类型及其访问...
CUDA&GPU; 编程模型
01-28
CUDA &GPU; 编程模型参考资料，比较基础，适合入门或者平时开发过程中参考使用！
GPU 硬件基础及内存模型
RandyOliver's House
06-29 839
Fermi的双warp调度器选择两个warp，每个warp的指令会发送到16个核心、16个加载/存储单元或4个SFU中。**LDU(Load-Store Units)：**每个SM有16个Load/Store单元，允许16个线程每个时钟周期计算源和目的地址，支持将每个地址的数据读取和存储到缓存或DRAM中。每个 SM 是一个垂直的矩形条带，包含橙色部分（调度程序和调度器）、绿色部分（执行单元）和浅蓝色部分（寄存器文件和 L1 缓存）。512 个 CUDA 核心被组织成 16 个 SM，每个 32 个核心。
使用GPU训练模型
热门推荐
Python_Ai_Road的博客
07-17 1万+
公众号后台回复关键字：Pytorch，获取项目github地址。Pytorch没有官方的高阶API。一般通过nn.Module来构建模型并编写自定义训练循环。为了更加方便地训练模型，作者...
GPU的内存体系及其优化指南
CV_Autobot的博客
05-01 178
作者|紫气东来 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/654027980点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『CUDA编程』技术交流群本文只做学术分享，如有侵权，联系删文要在冯·诺依曼架构的硬件中实现高性能计算，最重要的两点就是：访存和计算。这两点分别对应着...
CUDA C编程（十一）CUDA共享内存概述
AAAA202012的博客
12-31 4540
  GPU有两种类型的内存：板载内存以及片上内存。其中全局内存是较大的板载内存，具有相对较高的延迟。共享内存是较小的片上内存，具有相对较低的延迟，并且共享内存可以提供比全局内存高得多的带宽。可以把它当作一个可编程管理的缓存，共享内存通常的用途有：块间线程通信的通道；用于全局内存数据的可编程管理的缓存；高速暂存存储器，用于转换数据以优化全局内存访问模式。 共 享 内 存    共 享 内 存 分 配 共 享 内 存 存 储 体 和 访 问 模 式 配 置 共 享 内 存 量 同 步 ...
【CUDA编程】学习笔记（四） GPU存储与优化
无极阁
06-06 1133
一、CPU内存 ●现代计算机体系结构面临的主要挑战 ✓如果数据无法快速移入和移出，那么快速计算将毫无意义 ✓需要大量内存用于大型应用程序 ✓非常快的内存也非常昂贵 ●最终被推向分层设计 （1）CPU内存层次结构 ●执行速度依赖于利用数据局部性 ✓时间局部性：刚刚访问的数据项很可能在不久的将来再次使用，因此请将其保留在缓存中 ✓空间局部性：相邻数据也可能很快被使用，因此加载 它们使用“宽”总线（如...
Pytorch学习笔记（9）模型的保存与加载、模型微调、GPU使用
路人贾的博客
03-31 2473
Pytorch学习笔记（9）模型的保存与加载、模型微调、GPU使用
cuda-smi-master_GPU_源码
10-02
CUDA SMI (System Management Interface) 是NVIDIA...通过深入阅读和理解源码，你可以学习到更多的C/C++编程技巧，以及CUDA编程的最佳实践。此外，对于希望扩展或定制CUDA SMI功能的开发者，原始源码提供了很好的起点。
onnxruntime-win-x64-gpu-cuda12-1.18.0.zip
最新发布
06-10
CUDA是NVIDIA提供的一个并行计算平台和编程模型，它允许开发者直接利用GPU的强大计算能力来加速计算密集型任务，如深度学习的前向传播。CUDA 12是这个版本所要求的CUDA工具包，它包含了最新的驱动程序、库和开发工具...
CUDA-programming.zip_CUDA Programming_GPU编程技术
09-24
2. **GPU架构**：CUDA编程的核心是理解GPU的架构，特别是流式多处理器（SMs）和CUDA线程模型。GPU包含多个处理单元，这些单元可以并行执行大量细粒度的任务。 3. **CUDA线程层次**：CUDA线程组织成块（Blocks）和...
23- GPU设置和多分布自定义模型 (TensorFlow系列) (深度学习)
March_A的博客
03-02 1171
为什么需要分布式?数据量太大, 模型太复杂同步式分布式训练适用于一机多卡每个GPU都有网络结构的所有参数, 这些参数会被同步加速方法: 数据并行Batch数据切为N份分给各个GPU梯度聚合然后更新给各个GPU上的参数MirroredStrategy的变种参数不是在每个GPU上, 而是存储在一个设备上CPU或者唯一的GPU上计算是在所有GPU上并行的除了更新参数的计算类似MirroredStrategy适用于多级多卡情况与MirroredStrategy类似。
Analyzing and Leveraging Decoupled L1 Caches in GPUs
qq_37026934的博客
08-08 518
Analyzing and Leveraging Decoupled L1 Caches in GPUs
cuda runtime-GPU内存模型和数据拷贝
zwhdldz的博客
07-30 315
CUDA Driver 是与 GPU 沟通的驱动级别底层 API，对 Driver API 的理解，有利于理解后续的 Runtime API。CUDA Driver 随显卡驱动发布，需要与 cudatoolkit 分开看，CUDA Driver 对应于 cuda.h 和 libcuda.so。Driver API 主要知识点是 Context 的管理机制 以及 CUDA 系列接口的开发习惯（错误检查方法），还有内存模型。
CUDA编程记之二 详解GPU中各种内存属性及实战演练
BJMzheng的博客
07-27 610
系列文章目录 CUDA编程记之一基本使用及线程、同步、存储器 文章目录系列文章目录前言一、存储器和内存二、矩阵点积矩阵乘法总结 前言 像之前的文章，也只能说讲了一下简单应用，其实离实际应用还有很大距离，这篇再细讲讲存储器和应用示例 一、存储器和内存 图中所示为GPU中的存储结构，L1 、 L2为缓存区域，全局内存访问很慢，但所有位置都可以访问。共享内存访问比全局内存快100倍左右，但是是块内可访问，不同块之间的共享内存不同。 本地内存访问也很快，但是只有64kb左右。溢出时候会占用寄存器内存，也是很
CUDA: GPU内存架构示意
weixin_42849849的博客
10-20 1328
CUDA GPU 内存架构示意图
GPU内存模型
weixin_38498942的博客
04-22 1370
一、物理概念： streaming processor(sp): 最基本的处理单元。GPU进行并行计算，也就是很多个sp同时做处理。现在SP的术语已经有点弱化了，而是直接使用thread来代替。一个SP对应一个thread Warp：warp是SM调度和执行的基础概念，通常一个SM中的SP(thread)会分成几个warp(也就是SP在SM中是进行分组的，物理上进行的分组)，一般每一个WARP中有...
利用GPU训练模型
m0_51311105的博客
02-19 3164
利用.cuda()函数 网络模型中，有三种变量可以调用.cuda()，分别是网路模型、数据（输入、标注）、损失函数，调用完需要返回。 以之前的一个网络为例： import torch import torchvision from torch import nn from torch.utils.data import DataLoader dataset = torchvision.datasets.CIFAR10("./dataset", train=False...
CUDA ---- Memory Model
weixin_30912051的博客
06-09 494
Memory kernel性能高低是不能单纯的从warp的执行上来解释的。比如之前博文涉及到的，将block的维度设置为warp大小的一半会导致load efficiency降低，这个问题无法用warp的调度或者并行性来解释。根本原因是获取global memory的方式很差劲。 众所周知，memory的操作在讲求效率的语言中占有极重的地位。low-latency和high-bandwidth...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值