cuda编程入门

最新推荐文章于 2024-07-05 20:32:07 发布
最新推荐文章于 2024-07-05 20:32:07 发布
阅读量425 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ryontang/article/details/112572369
版权

文章目录


参考blibli

P2 CUDA编程入门01-GPU硬件架构综述

在这里插入图片描述

bank的访问冲突

在这里插入图片描述
在这里插入图片描述
冲突的情况
在这里插入图片描述

规约的一个有效的算法

在这里插入图片描述

p3 CUDA编程模型

在这里插入图片描述

CUDA程序执行流程

在这里插入图片描述##### Block和grid的关系
在这里插入图片描述

CUDA程序层次结构

在这里插入图片描述

CUDA kernel函数的grid, block调用情况

在这里插入图片描述

注意用__global__定义的kernel是异步的：调用这个函数cpu就走了，不管GPU是否算完，不会等待GPU完成，而GPU会一个个执行kernel函数

CUDA内置变量

在这里插入图片描述

P4向量加法
# GPU申请内存的函数：
cudaMalloc((void **)&dx, nbytes) //你首先得给我一个pointer to pointer of sth, 然后你要申请多少内存空间

在这里插入图片描述

P5Grid-Block-Warp-Thread
CUDA程序层次结构

在这里插入图片描述
在这里插入图片描述

P6GPU内存介绍

左边是Device的图
右边是单个Multi-processor的图
在这里插入图片描述
GPU内存类型
在这里插入图片描述

P7内存如何管理

内存管理，全局内存是我的数据主要存放的地方，共享内存就是block内线程数据共享和同步
在这里插入图片描述

CPU内存

栈的内存有限几M,堆的话看电脑32G,64G
在这里插入图片描述

GPU内存

在这里插入图片描述

GPU全局内存分配释放

在这里插入图片描述

统一(unified)内存分配释放

避免GPU和CPU数据传输，因为都可以访问
在这里插入图片描述
同步拷贝： src全部拷贝给dst，这个函数才会终止执行下一个函数
在这里插入图片描述
异步拷贝： 只要启动这个函数就不管了(留着GPU与CPU自己完成)，就执行这个函数后面的语句，异步拷贝有一个缺点：就是你不知道是否拷贝完成，你就使用他有可能使用的是以前的旧数据
在这里插入图片描述

共享内存

在这里插入图片描述

常用的使用共享内存的两种方式
在这里插入图片描述

P8内存管理，代码示例

申请内存(cudaMalloc/GPU/, malloc或者cudaMallocHost/CPU/)->内存拷贝(cudaMemcpy)->调用核函数 <<<blockIdx,threadIdx>>> ->内存拷贝->释放内存

P9CUDA程序执行与硬件映射

grid->Block->Thread 对应 Device->SM->CUDA Core

P10什么是规约算法

CUDA不支持global sync,因为全局同步可能造成：

  1. 有block闲置
  2. deadlock
    solution: Decompose into multiple kernels 设计规约算法
    在这里插入图片描述
    多个块block规约如何进行同步：
    在这里插入图片描述
    CUDA没有全局同步的原因：
    死锁状态
    在这里插入图片描述
    解决办法：对规约算法分成多个kernel(本来是多个block进行，现在分/decopose多个kernel)，相当于在原来的基础上时间纵轴上加了一个里程碑，一个里程碑完成才能进行下一个里程碑，这样block的资源就释放了
    在这里插入图片描述
    调用kernel示意图，即一个规约运算分为两个kernel但是在调用第二个kernel参与运算时，完成第一个kernel运算会到达一个同步点
    在这里插入图片描述
P11并行规约算法-二叉树算法

策略：
在这里插入图片描述
对于相加的规约算法来说，他的示意图如下，每一次线程操作减半：
在这里插入图片描述
上述示意图的伪代码：
在这里插入图片描述

P12并行规约算法-改进warp divergence

p11的算法，同一warp中的线程执行命令不一样，

P13并行规约算法-改进共享内存访问，消除冲突
P14并行规约算法-改进全局内存访问
P17并行规约算法-成功优化的关键

voliate关键字
在这里插入图片描述

P18完整并行规约算法-三阶段算法与完整代码

在这里插入图片描述

P18完整并行规约算法应用-内积

另一个博主

参考蒙特卡洛家的树

ryontang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CUDA编程入门教程
06-09
CUDA编程入门教程，非常好用的CUDA入门教程，一看就会，入门变轻松
CUDA编程入门
zyazky
09-07 3960
一     首先看一下CPU和GPU的微架构和计算能力对比。例如我的笔记本lenovo Y480，4核CPU,NVIDIA GT650M显卡384个CUDA核。 计算能力对比： CPU:       4 * 2.5=10GFLOPS GPU:    384 * 0.88=  337.92GFLOPS   显卡计算性能是4核i5 CPU的33.792倍，因此我们可以充分利用这
CUDA编程基础
最新发布
weixin_45715405的博客
07-05 1169
参考链接GPU 意为图形处理器，也常被称为显卡，GPU最早主要是进行图形处理的。如今深度学习大火，GPU高效的并行计算能力充分被发掘，GPU在AI应用上大放异彩。GPU拥有更多的运算核心，其特别适合数据并行的计算密集型任务，如大型矩阵运算，与GPU对应的一个概念是CPU，但CPU的运算核心较少，但是其可以实现复杂的逻辑运算，因此其适合控制密集型任务，CPU更擅长数据缓存和流程控制。1、GPU不能单独进行工作，GPU相当于CPU的协处理器，由CPU进行调度。
CUDA编程入门极简教程
qq_41854911的博客
08-27 6385
2006年，NVIDIA公司发布了CUDA，CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。近年来，GPU最成功的一个应用就是深度学习领域，基于GPU的并行计算已经成为训练深度学习模型的标配。目前，最新的CUDA版本为CUDA 9。GPU并不是一个独立运行的计算平台，而需要与CPU协同工作，可以看成是CPU的协处理器，因此当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。
CUDA 编程入门
A-Egoist的博客
11-20 5365
CUDA编程入门 更好的阅读体验 CUDA 概述 CUDA 是 NVIDIA 推出的用于其发布的 GPU 的并行计算架构，使用 CUDA 可以利用 GPU 的并行计算引擎更加高效的完成复杂的计算难题。 在目前主流的使用冯·诺依曼体系结构的计算机中，GPU 属于一个外置的设备，因此即便在利用 GPU 进行并行计算的时候也无法脱离 CPU，需要与 CPU 协同工作。因此当我们在说 GPU 并行计算时，其实指的是基于 CPU+GPU 的异构计算架构。在异构计算架构中，CPU 和 GPU 通过 PCI-E 总线连接
cuda 编程入门
u010622506的博客
12-25 487
1. 简介 首先， 大家都知道在做深度学习以及科学计算时利用GPU算法，可以大规模的提高运算效率。我们首先来了解一下CPU与GPU的区别。 上图为CPU 与GPU 架构上的区别，绿色部分可以理解为逻辑计算部分，黄色为控制区域， 而红色为存储区域，最明显的区别就是CPU拥有更多的存储，尤其是缓存，而GPU拥有更多的计算单元，简单来说单个GPU拥有更多的计算资源。而相对于比较简单的大规模运算，...
CUDA编程指南阅读笔记
热门推荐
Augusdi的专栏
10-09 1万+
随着多核CPU和众核GPU的到来，并行编程已经得到了业界越来越多的重视，CPU-GPU异构程序能够极大提高现有计算机系统的运算性能，对于科学计算等运算密集型程序有着非常重要的意义。这一系列文章是根据《CUDA C语言编程指南》来整理的，该指南是NVIDIA公司提供的CUDA学习资料，介绍了CUDA编程最基本最核心的概念，是学习CUDA必不可少的阅读材料。 初学CUDA，笔记错误之处在所难免，还请发
CUDA编程快速入门
影 的专栏
10-10 1167
1.架构理解1）.包括grid，block，(warp),thread这几个层次，     这就是我们所说的SM；即：grid对应整个GPU，block数量代表SM数量，每个block的thread数量对应ALU数量       2.编写规范       1）核函数前缀__global__，而且必须是void类型。 2）>>,N个block，每个block有M个线程。3）GPU的核函数的执行与CP
CUDA学习入门（一）（包含CUDA安装和相关基础知识）
weixin_44222088的博客
01-19 5595
对CUDA入门做一个简单的概述性介绍，包括了CUDA安装教程。
cuda基础教程(一)
我的博客
02-01 1987
AI技术的繁荣和AI应用场景的逐渐丰富，AI模型的训练、大数据分析都对系统计算能力提出了更高的需求，CUDA平台都对此能够提供很好的计算支持主流的AI框架如TensorFlow、Caffe、Pytorch都依赖于CUDA平台的强大计算能力来完成模型训练任务并行，多个任务同时执行数据并行，多个数据同时被执行块分循环分块异构计算指在具有多种类型处理（CPU和GPU）的系统中完成的计算GPU上进行并行计算（主要是数据并行）GPU核心数（core number）GPU内存容量。
CUDA编程一天入门
yantuguiguziPGJ的博客
04-20 458
CUDA 编程模型是一个异构模型，其中同时使用 CPU 和 GPU。
CUDA编程入门与接口详解
"《GPU编程指南》是一本针对CUDA编程的实用教程，由译者风辰...《GPU编程指南》是一本系统且实用的CUDA编程入门教程，涵盖了从基础到高级的方方面面，对于希望掌握GPU并行计算技术的开发者来说，具有很高的参考价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值