Cuda笔记1

已于 2024-01-21 15:50:38 修改
阅读量425 收藏 10
点赞数 9
分类专栏： CUDA 文章标签： 笔记
于 2024-01-21 13:42:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44576434/article/details/135728038
版权
文章介绍了CUDA编程中的关键概念，包括串行CPU与并行GPU的区别，线程层次结构（SM、block和grid）、线程索引设置、以及如何进行线程分配。还提到了NVPROF工具用于性能分析和CPU-GPU数据传输的cudaMemcpy函数。
摘要由CSDN通过智能技术生成

1、培训001

在这里插入图片描述
在这里插入图片描述
1在这里插入图片描述
1+…+100，CPU是串行执行，GPU是分成几部分同时计算，如1+2+3,4+5+6…

2、培训002

在这里插入图片描述
一来一回
在这里插入图片描述
每种定义有对应的调用位置，和执行位置，不对会报错。
在这里插入图片描述
下图是用NVPROF时间分析
在这里插入图片描述
下图是资源分析
在这里插入图片描述

1） CUDA线程层次

在这里插入图片描述
一个SM执行多个block
在这里插入图片描述
所有线程执行同一个kernel，每个线程处理的数据不一样
在这里插入图片描述
线程在cuda core里面，block以块为单位分配到sm中，grid在device中
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/b0ebf85958584b2aa17be70d7dcbc1a5.png
如图描述的是：9个block分给3个sm
这张ppt的流程与下面这个图其实是一回事
在这里插入图片描述
在这里插入图片描述
理由：层层分级便于管理，和企业或government管理有点相似。还有个协作，通过共享内存使thread block协作。
在这里插入图片描述
在这里插入图片描述
h_a，h_b指CPU的变量，d_a等指GPU的变量，申请各自的空间。
使用cudaMemcpy函数将cpu的变量传给gpu，然后使用kernel函数计算。
然后将结果送回去给CPU，最后释放
第一步
在这里插入图片描述
第二步，还有个步骤是，cpu通过giga thread将block分配给sm中
在这里插入图片描述
第三步
在这里插入图片描述

2）CUDA线程索引

设置多大？没有规矩，要通过实验！！！

3）CUDA线程分配

在这里插入图片描述
每个线程块的xyz维度最大申请1024,1024,64
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
参考链接：https://www.bilibili.com/video/BV1dq4y1k7RD?p=1《NVIDIA-CUDA-冬令营》

tensor.shape
关注
  • 9
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
cuda 排序算法笔记
jacke121的专栏
03-30 2691
Thrust是cuda自带的c++库，cuda安装好之后，这个库也默认安装好了。 这个库基本是采用类似STL的接口方式，因此对于开发者非常友好，开发者不再需要关注内存与显存相关的问题了。 排序入门例子 #include <thrust/host_vector.h> #include <thrust/device_vector.h> #include <thrust/generate.h> #include <thrust/sort.h> #incl..
CUDA 笔记本电脑 安装详细说明
03-16
这是我在做毕业设计中用笔记本安装CUDA的详细说明，本人笔记本式索尼VAIO系列的电脑，NVIDIA公司的CUDA笔记本驱动不支持该系列电脑，故本人做了一个安装说明。谢谢。本人还会上传一些附件的安装软件。
CUDA笔记1：环境配置
Ai_ViVi的专栏
12-22 687
几年前一直叫嚣着要学习CUDA,却从未开始过，那么就从今天起步。自己对CUDA并行编程的原理似有了解，却从未真正跑过CUDA程序。CUDA编程第一步首先从VS2010+CUDA5.5的配置环境走起。学走路当然少不了前人的搀扶。 1）从NV官网下载、安装CUDA Toolkit 5.5 ： 默认安装路径：C:\Program Files\NVIDIA GPU Co
cudaMemcpy学习笔记
jacke121的专栏
07-31 1667
cudaMemcpy学习笔记
CUDA编程笔记（1）
weixin_41311686的博客
01-13 492
CUDA编程的学习，需要熟练的掌握C/C++编程的基础及操作系统方面的知识。CUDA编程是通往高性能计算的道路，学习掌握cuda编程，将其运用在一些计算机视觉的部署任务中是十分常见和高效的。
CUDA笔记-卷积计算
黑山老妖的博客
04-26 4362
CUDA 3D convolution - ijpq - 博客园overview https://www.cnblogs.com/ijpq/p/15405106.html
CUDA学习笔记
weixin_47885125的博客
12-31 1056
期末抱佛脚
CUDA编程笔记
椰子奶糖的博客
07-19 183
此前似乎有写过CUDA的demo，不过后来就放弃了，现在打算重新捡回来，在此记录一下hhh。
CUDA笔记
weixin_43915090的博客
01-29 1021
nvidiasmi -q：查询GPU详细信息； nvidia-smi -q -l 0：查询特定GPU详细信息； nvidia-smi -q -l 0 -d MEMORY：显示GPU特定信息； nvidia-smi -h：英伟达的帮助命令。CUDA 核函数 注意事项： 1、核函数在 GPU 上进行并行执行； 2、注意： （1） 核函数必须有 gloabl 进行修饰，限定词 global 修饰; （2）返回值必须是 void; 3、形式： （1）global void kernel_function(argum
CUDA 笔记
weixin_43915090的博客
01-30 471
cuda 内存管理。
我的CUDA学习笔记
08-29
1. CUDA 程序架构 CUDA 程序架构中引入了Kernels的概念，即在C语言基础上增加了一种函数类型，声明方式为_global_，在调用时需在程序名后添加, b>>，其中a为参与该函数计算的block数量，b为每个block中的threads...
CUDA-:CUDA C学习笔记
03-16
这篇学习笔记将深入探讨CUDA C的基础知识和关键概念。 1. **CUDA架构** - **CUDA核心**: GPU内部包含大量的流处理器（Streaming Multiprocessors, SM），每个SM由多个CUDA核心组成，它们执行并行计算任务。 - **...
Caffe学习笔记1
08-08
对于没有CUDA的Mac用户，需要设置`CPU_ONLY := 1`来编译纯CPU版本的Caffe。安装过程中可能涉及的复杂性包括修改编译器、重新编译依赖库等，这些问题通常可以通过搜索网络上的教程解决。 Caffe的文件结构是理解其...
CUDA学习笔记，GPU编程，C++编程
06-08
本篇笔记将深入探讨CUDA编程的基础概念，包括GPU架构、并行计算原理以及CUDA编程的关键要素。 首先，我们需要理解为什么需要GPU进行并行计算。传统的CPU（中央处理器）擅长于串行处理任务，但对于大规模并行计算，...
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1223
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
vite5+vue3开发阅读APP实战笔记20240725
Python私教
07-25 386
修改src/page/home/index.vue，使用组件和API。注意，这里无论是组件还是API，都不需要我们手动引入，我们配置了自动导入以后，vite会帮我们自动导入。创建 src/page/home/index.vue。修改 vite.config.js。修改vite.config.js。修改 src/main.js。修改src/App.vue。
Golang学习笔记20240725，Go语言基础语法
最新发布
Python私教
07-25 531
如果我们在遍历的时候，不想要key或者value，也可以用下划线替代，下划线叫做匿名变量。go语言里面的switch语句每个case天生就是独立的，不需要加break。指针可以直接对内存地址进行操作。使用*表示指针，使用&取地址。切片在go语言里面非常常用，因为其有动态扩展的特性。运行方式3：goland右键运行。使用加号可以对字符串进行拼接。
学习笔记-系统框图传递函数公式推导
weixin_45875994的博客
07-24 789
输出C(s)是前向路径（通过G(s)）的输出与反馈路径（通过H(s)）的输出之差（在负反馈系统中）。因此，我们可以写出以下关系式：这里，G(s)R(s)是前向路径的输出，而G(s)H(s)C(s)是反馈路径的输出（注意，反馈路径的输出先经过H(s)，再与前向路径的输出相减）。
笔记本电脑安装cuda
09-09
1. 首先，确定你的笔记本电脑的型号和系列。根据引用的信息，NVIDIA公司的CUDA笔记本驱动可能不支持某些笔记本系列。所以，确保你的笔记本电脑型号在支持的范围内。 2. 下载最新版本的CUDA安装程序。根据引用的信息...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值