cuda-将设备的指针拷贝到同一个设备的指针

最新推荐文章于 2024-09-01 16:42:17 发布
最新推荐文章于 2024-09-01 16:42:17 发布
阅读量214 收藏
点赞数 1
文章标签： c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40826634/article/details/139890637
版权

tensorRT推理时，输入输出指针都位于设备上，所以设备上的指针之间的拷贝需要使用cuda的拷贝指令，不能使用主机的拷贝指令。

    float* fusion_model_feature_input1;
    fusion_model_feature_input1 = static_cast<float*>(fusion_model_trt_ptr_->getBuffer(system_param_.fusion_model_input_name1));
    CHECK_CUDA_ERROR(cudaMemsetAsync(fusion_model_feature_input1, 0, (system_param_.bev_shape[0] / 2) * (system_param_.bev_shape[1] / 2) * 64 * sizeof(float), stream_));
    CHECK_CUDA_ERROR(cudaMemcpy(fusion_model_feature_input1, bev_model_feature_output1, (system_param_.bev_shape[0] / 2) * (system_param_.bev_shape[1] / 2) * 64 * sizeof(float), cudaMemcpyDeviceToDevice));

上述代码中即是将cuda中的bev_model_feature_output1指针拷贝到cuda中的fusion_model_feature_input1指针中

weixin_40826634
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第一章 CUDA指针预备篇
weixin_38252409的博客
07-24 1030
学习我的教程专栏，你将绝对能实现CUDA工程化，实现环境安装、index计算、kernel核函数编程、内存优化与steam性能优化、原子操作、nms的cuda算子、yolov5的cuda部署等内容，并开源教程源码。CUDA依赖指针，本篇需掌握相关指针内容，为CUDA编程提供依据。指针定义：指针是一个值为内存地址的变量或者数据对象。指针变量的值是地址。
CUDA拷贝结构体成员指针
DreamerZhang的专栏
07-14 2288
在网上看了好多CUDA中在拷贝结构体以及在内核中如何访问结构体成员变量的帖子，都没找到一个质量好的，so， 自己写一个吧。。。 先来个结构体： struct Stu_Struct{ int count; //人数 short* score; //每个人的分数，总计count short num; //附加分数 }; 说明 首先大家都知道在主机端和设备端...
CUDA:将含有多级指针的结构体指针传入设备，并在设备中
zhiyuandefang的博客
03-20 310
将多级指针的数据传入gpu，并且同时传入指向关系，可以在设备中通过指针访问数据
cuda 函数指针_学习 CUDA C (一)：基础概念 | 学步园
weixin_32816563的博客
01-17 455
CUDA 是专为 GPU 设计的编程接口，由于GPU 和 CPU 有不同的硬件，编程的方式也有很大的差别。要理解CUDA 的概念，应该从硬件开始着手。下图是 CPU 和 GPU 的一个简化图，图中反映了 CPU 和 GPU 的几点不同：CPU 有更大的 Local Cache，而 GPU 的 Cache 和 Local Memory 相对较少。GPU 有大量的寄存器，用来支持更多的线程。相反，CP...
CUDA中二级指针表示二级数组
YBAdiam的博客
04-09 1519
首先看下我们在CPU上是如何用二级指针表示二维数组的，其实就两点：一是用一级指针保存数据，二是用二级指针去按行索引数据位置。关于一级指针和二级指针的内存分配这里不讲了，注意数据类型就可以了。 代码做了相关说明，应该比较好理解： #define Row 8 #define Col 4 //声明Row个行指针: cpuA cpuA+0 cpuA+1 cpuA+Row int **...
CUDA编程 怎样给kernel函数传入函数指针
Full_Speed_Turbo
03-23 1406
目录核心方法模板函数指针不用模板 核心方法 The key to passing function pointers to CUDA kernel is to use static pointers to device pointers followed by copying the pointers to the host side. Otherwise, I am sure you will...
CUDA使用二级指针表示二维数组
DreamerZhang的专栏
06-09 6567
首先看下我们在CPU上是如何用二级指针表示二维数组的，其实就两点：一是用一级指针保存数据，二是用二级指针去按行索引数据位置。关于一级指针和二级指针的内存分配这里不讲了，注意数据类型就可以了。 代码做了相关说明，应该比较好理解： #define Row 8 #define Col 4 //声明Row个行指针: cpuA cpuA+0 cpuA+1 cpuA+Row int
向CUDA中拷入二维指针
AndrewBW666的博客
12-27 544
21 // b[2][10] 22 int **b= (int**)malloc(2*sizeof(int*)); 23 int *data = (int*)malloc(2*10*sizeof(int)); 24 for(int i=0;i<20;i++) 25 data[i] = i; 26 // 将数据复制到二维的指针...
CUDA入门学习笔记：四 设备内存的申请，拷贝及释放
蘑菇炒辣椒的CSDN
06-25 1239
CUDA入门学习笔记：四 设备内存的申请，拷贝及释放
将二维vector类型的数据合并为一重指针传入cudaMemcpy()函数
Xuuxq的博客
03-22 1173
若二维vector每行的列数不同，不是标准的N*M矩阵形式 cudaMemcpy()函数在传输数据时，参数需要为指针类型，因为实际数据的限制，初始数据是通过vector<vector<Vec4f>>的形式存储的，难点在于此二维vector每行的列数并不相同，并不是一个完美矩阵形式，在此记录一下自己的实现方式 首先说一下最终的实现方案： 首先将二维vector中的每行转换为指针，可见理解为每行一块小内存。然后通过函数memcpy()将每块小内存拼接在一起。 //将此二维vector转化
CUDA的内存拷贝
wanchaochaochao的博客
06-07 2094
CPU到GPU   在CUDA程序中，将数据从CPU传输到GPU，或者从GPU传输到CPU的时候，需要调用底层的内存拷贝函数。当有很多不同类型的数据的时候，这个过程会非常繁琐。于是，我专门写了个内存拷贝的模板函数，使这个过程变的十分方便。 template <typename T> T* valueHostToDevice(T *value, const int &num = 1, bool isDelete = false){ T *devValue; cudaMall
CUDA C编程8：内存管理之零拷贝内存
DU_YULIN的博客
03-10 2989
系列文章目录 文章目录系列文章目录前言一、零拷贝内存相关知识点二、零拷贝内存示例1. 代码实现2. 运行结果总结参考资料 前言 这里跟大家分享内存管理第三篇：零拷贝内存。 一、零拷贝内存相关知识点 之前学习的CUDA知识中，主机不能直接访问设备变量，需要通过cudaMemcpycudaMemcpycudaMemcpy函数实现主机与设备间数据拷贝，当然设备也不能直接访问主机变量。 这里介绍的零拷贝内存则是个例外，主机和设备都可以访问零拷贝内存。 注意，零拷贝内存相当于从全局内存中分出的一块独立
学读者掌握cuda-gdb的细节。
05-29
使用`cuda memcpy`命令进行读写，例如：`cuda memcpy d_A A 100 cudaMemcpyHostToDevice`，其中`d_A`为设备内存指针，`A`为主机内存指针，`100`为读写数据长度，`cudaMemcpyHostToDevice`表示从主机内存拷贝到设备...
【C++】深入理解C++模板：从基础到进阶
最新发布
2403_86785171的博客
09-01 444
模板是C++中用于泛型编程的工具。它允许你编写可以处理任意类型的函数和类，而不必重复编写相似的代码。函数模板和类模板。
C语言破墙镐对称飞迷宫
qq_69383179的博客
08-22 5688
这里有我用C语言编译的破墙镐对称飞迷宫和与之相关的一些东西
[C++规范] 访问类成员变量的方式：直接访问还是通过成员函数访问？
热门推荐
Loewen丶的小窝
08-26 1万+
在面向对象编程（OOP）中，通过成员函数（如`ME_HardwareTypeEnum Type() const;` 和 `int Id() const;`）来访问类的私有或受保护成员（如`m_hardwareType` 和 `m_id`），而不是直接通过公共成员访问，是一种更好的做法。
【C++】智能指针——auto_ptr，unique_ptr，shared_ptr
2301_79796701的博客
09-01 1052
1.智能指针对象中引用计数是多个智能指针对象共享的，两个线程中智能指针的引用计数同时 ++或--，这个操作不是原子的，引用计数原来是1，++了两次，可能还是2.这样引用计数就错 乱了。旧的智能指针的会转移给新的智能指针，而旧的智能指针的会被置空。解决方案：在引用计数的场景下，把节点中的_prev和_next改成weak_ptr就可以了，weak_ptr不会增加引用计数，代码示意。该问题是有类似于链表节点的结构引起的，当外部的智能指针都释放了，就拿不内部的智能指针，那么节点就不会释放。使用方法参考官方文档。
c++11新特性-智能指针
SuperYang_的博客
09-01 981
智能指针RAII(Resource Acquisition Is Initialization)，是一种利用对象的生命周期来管理资源的技术。如果我们采用传统的new/delete来申请和释放资源，如果忘记调用delete，或者在调用delete之前程序抛出异常，都会导致内存泄漏问题，如代码1.1，Func函数中的new p2和Div都可能抛异常，导致后面的delete没有执行从而引发内存泄漏，采用智能指针对资源进行管理，能够杜绝这类问题。代码1.1：因异常引发的内存泄漏throw "除0错误";
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值