算子加速(2):自定义c++扩展

已于 2024-09-15 18:53:10 修改
阅读量438 收藏
点赞数
分类专栏： BEV 感知 文章标签： c++ c++ 扩展 bev pool bev bev 加速
于 2024-09-08 20:45:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/142030434
版权

文章目录

在bevfusion论文中，将bev_pooling定义为view transform中的效率瓶颈，bevfusion 主要就是对bev_pooling进行了加速，使得视图转换的速度提高了40倍，延迟从500ms下降到12ms。be_pooling的优化和加速，主要是通过实现自定义的c++扩展和cuda扩展实现的。

  • 在bevfusion项目中的bev_pool.py中:mmdet3d/ops/bev_pool/bev_pool.py, 可以看到有一处无法点进去查看的函数bev_pool_ext.bev_pool_forward， 它实际是用python 去调用我们的c++和cuda函数。
    在这里插入图片描述
  • 其中bev_pool的c++和cuda代码实现在: mmdet3d->ops->src中，用c++实现了bev pool的forward和
了解本专栏 订阅专栏 解锁全文 超级会员免费看
算子加速(1): torch.autograd.Function的使用
@bangbang的博客
09-08 617
在做Bev项目时，我们会发对于一些计算量非常大的算子，通常会通过CUDA进行加速实现，将cuda计算封装到一个动态库.so，然后提供给python调用，相对于原先的python加速能显著的提升计算效率。比如bev_pool就是通过这种方式实现离线计算和cuda并行，从而速度提升了几个量级bev_pool是Bev算法的关键的运算瓶颈，针对该问题工程上做了大量的性能优化，包括离线运算和cuda并行计算，从而实现bev_pool的计算加速。代码示例如下x,B,D,H,W,return out。
人工智能进程；算子加速的具体计算部分；大模型GPT5：参数18万亿；大模型面临问题
ZJQ的博客
10-27 403
在Sobel算子的实现中，需要对图像中的每个像素点进行卷积运算，以计算其梯度值。这个卷积运算涉及大量的乘法和加法操作，是计算密集型任务之一。算子加速主要关注深度学习模型或图像处理算法中的计算密集型部分。算子加速是深度学习领域中的一个重要概念，它涉及到对深度学习模型中算子（即。算子加速不仅针对GPU，还可以针对其他类型的硬件加速器进行优化。，以提高模型的执行效率和性能。交互损耗多:模型规模增大，CPU、内存和NPU间交互损耗多。网络吞吐低:组网层数增加，网络拥塞加剧，网络吞吐下降。
GaussDB(for MySQL) ：Partial Result Cache，通过缓存中间结果对算子进行加速
华为云官方博客
07-01 1199
华为云数据库高级内核技术专家详解GaussDB(for MySQL)Partial Result Cache特性，如何通过缓存中间结果对算子进行加速？
HALCON支持GPU加速的算子有哪些？
机器视觉
09-28 1410
如下图所示：'surface_normals_object_model_3d'是none，不支持，'affine_trans_image'是opencl，代表支持。要查询具体的某个算子是否支持GPU加速，可以使用get_operator_info查询，get_opencl_operators这里可以查看到所有支持gpu加速的算子。另外，get_operator_name可以获得halcon所有的算子名称。测试算子使用gpu的加速效果可以参考例程：compute_devices。
【BEV视图变换】BEVPoolv2 原理、CUDA代码实现
黎国溥
03-05 5387
本文介绍BEVPoolv2，会介绍原理和CUDA代码实现。从工程优化的角度出发，改善BEV模型的视图转换。通过省略视锥特征的计算、存储和预处理来实现，使其在计算和存储方面不再受到巨大的负担。输入使用640 ×1600的分辨率，它可以在 0.82 毫秒内处理，这是先前最快实现的 15.1 倍。
算子加速(3):自定义cuda扩展
@bangbang的博客
09-15 400
编写CUDA扩展的一般策略是首先编写一个C++文件，该文件定义了将从Python中调用的函数，并使用pybind11将这些函数绑定到Python。此外，这个文件还将声明在CUDA(.cu)文件中定义的函数。C++函数会进行一些检查，并最终将其调用转至CUDA函数。在CUDA文件中，我们编写我们实际的CUDA内核。包将负责用C++编译器(如gcc)编译C++源文件，以及用NVIDIA的nvcc编译器编译CUDA 源文件。这确保每个编译器都负责编译它最擅长的文件。最终，他们将链接成一个共享库。
【onnxruntime算子开发】：自定义算子以扩展onnxruntime运算能力
[【onnxruntime算子开发】：自定义算子以扩展onnxruntime运算能力](https://viso.ai/wp-content/uploads/2023/12/ONNX-Runtime-Structure.png) # 摘要 本论文详细介绍了ONNX和ONNX Runtime的核心概念及其工作原理，...
深度学习PyTorch自定义CUDA算子与C++前端开发实战：提升模型性能与系统集成能力
最新发布
05-20
内容概要：本文深入探讨了PyTorch生态中自定义CUDA算子与C++前端开发的应用。首先介绍了PyTorch的基本特性及其在深度学习领域的广泛应用，强调了其动态计算图、自动求导和GPU加速等优势。随后详细讲解了自定义CUDA...
【ParaView插件开发攻略】：自定义功能扩展与实战应用
[【ParaView插件开发攻略】：自定义功能扩展与实战应用](https://feaforall.com/wp-content/uploads/2020/01/2-Paraview-Tuto-Understanding-the-User-Interface-1024x576.png) # 摘要 本论文深入探讨了基于...
mmdet3d框架代码复现时出现问题
datouhuitoutu950的博客
04-18 544
编译论文需要格外的C++编译工具，执行代码 python projects/BEVFusion/setup.py develop。
使用TensorRT部署BEVDet模型C++源码.zip
05-15
.流程 将bevdet分为四个部分，一第一个部分resnet50提取2D图像特征，第二部分bev_poolv2实现2D到3D转换，第三部分残差模块Encode，第四部分后处理 其中第一第三部分使用Tensorrt实现，其他在cpu上跑 2.run bash convert.sh mkdir build && cd build cmake .. make -j12 ./bevdet $you_modelpath
BEVFusion（mit）复现Ubuntu20.04终端配置
qq_60423839的博客
12-12 3813
参考文章大致上参考这篇文章，但还是遇到了很多问题首先查看cuda版本，原文要求11.3，这里使用的是11.1也没有问题nvcc -V因为服务器上有多个版本的cuda，参考此处切换创建switch-cuda.sh文件之后可以按以下指令切换创建虚拟环境并安装torch因为本人使用的是cuda11.1，所以将cu113改为cu111安装下列，记得先配置好镜像源再安装，不然会很慢。配置镜像源参考的这篇。
征程 6 工具链 BEVPoolV2 算子使用教程 1 - BEVPoolV2 算子详解
地平线开发者
03-04 871
当前，地平线 征程 6 工具链已经全面支持了 BEVPooling V2 算子，并与 mmdetection3d 的实现完成了精准对齐。然而，需要注意的是，此算子因其内在的复杂性以及相关使用示例的稀缺，致使部分用户在实际运用过程中遭遇了与预期不符的诸多问题。
_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol: _ZN6caffe26deta
weixin_45209433的博客
09-04 2590
之前mmdetection可以很好的使用，突然出现种错误，找了好久，更新了mmcv-full的版本，才解决！
bevfusion代码阅读
qq_42719217的博客
07-18 2524
中弹出键为 'type' 的值，该值指定了要构建的对象类型。如果该值是一个字符串，函数从注册表中获取对应的类对象；如果该值是一个类对象，则直接使用该对象；否则，抛出一个类型错误。此函数的作用是根据配置字典构建一个模块对象，可以根据需要自定义配置来构建不同的模块。这段代码是一个函数，用于根据配置字典构建一个模块对象。函数的参数包括一个配置字典。最后，函数使用构建好的类对象和剩余的参数构建一个对象，并返回该对象。函数首先进行参数的类型检查，确保。，和一个可选的默认参数字典。
Ascend C算子加速：优化与创新
Byyyi耀的博客
10-03 552
Ascend C算子加速：优化与创新
PyTorch自定义C++拓展算子、转换ONNX模型、ORT部署实现
嘤熊嚎杰的博客
03-01 2063
我们先来看一下建立的PyTorch模型，这是一个三层一维卷积模型，最后接了线性层完成分类任务输出。可以看到将应有的激活函数替换为了LIFSpike，并且传入了thresh和beta两个参数，模型中的其他参数省略。以下是LIFSpike的python部分实现，完整代码请见SNN-HAR，这里为了方便理解把源码中的ZIF替换为了FastSigmoid。
从BEVPool 到 BEVPool V2
MAX的专栏
07-17 1607
bevpool 是将图像2D 特征经过内外参转换后映射到3D 空间。 在LSS 中： 输入： 图像特征（NxHxWxC）, 深度得分（NxDxHxW） 根据内外参构建三维视锥体素索引（NxDxHxW）, 根据体素索引计算得到的三维坐标进行映射。把对应深度的图像特征映射到BEV 空间中。对多个图像特征映射到同一个BEV单元的累计求和。
BEV学习记录
m0_52945258的博客
02-14 1106
近期可能要经常性的开展BEV工作，打算把自己觉着不错的网站拿出来记录一下。
pytorch 发布自定义的c++算子流程
06-10
4. 使用PyTorch C++扩展API：使用PyTorch C++扩展API，将共享库加载到PyTorch中，并注册自定义算子。 5. 测试自定义算子：在Python中测试自定义算子是否能够正常工作。 这里提供一个简单的示例： 1. 编写C++代码 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值