python 加速(1)

已于 2024-02-29 21:49:09 修改
阅读量2.5k 收藏 3
点赞数 1
分类专栏： 鼠鼠的AI笔记 文章标签： python 开发语言
于 2023-06-15 17:02:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013302570/article/details/130787080
版权
本文介绍了如何利用CUDA和C++加速Python中的PyTorch操作。通过安装Cmake、CUDA，配置CLion环境，创建并编译C++与CUDA文件，以及设置VS C++环境，实现从Python到C++再到CUDA的转换。教程强调，只有加速GPU操作才能带来真正意义的性能提升，并推荐了相关资源和步骤。
摘要由CSDN通过智能技术生成

文章目录


因为要修改yolo系列里NMS处的计算，如果用python，速度巨慢。torchvision 有自己的加速后的NMS function。但是不和形变后的IOU通用。因此需要做一个类似的。
回看torchvion, 发现里面有cpp的文件，因为之前没有接触过加速（资源比较丰富）。
C++ 并不是加速NMS那步操作的解药，解药是CUDA kernel。因此，如果要加速任何的function在model里，CUDA kernel 是最终目的。

自己之前误入歧途，以为C++就能加速一切。试图用libtorch & c++ 替代之前python的操作。但其实只要不能加速GPU操作，这些办法都毫无意义。在用libtorch 改写时，发现python导出的.pt文件，并没有办法被C++ 的libtorch直接load. 在试图解决这个bug，发现了，其实我该用cuda 改写~就无语。。。。

感谢：AI葵
https://www.youtube.com/watch?v=_QqG_I8nfH0

简单步骤

Header

wiou.h


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  EmoC001
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
【C++】C++多线程实现目标检测算法nms处理（数据访问冲突解决）

				
			

			

				

					weixin_44984705的博客
				

				

					09-26
					
					778
					
				

			

		

		

			
				
C++ nms代码实现，多线程解决

			
		

	



                

              
                



	

		

			

				
					
C++部署yolov5s.onnx并使用GPU进行加速

				
			

			

				

					qq_46463876的博客
				

				

					05-15
					
					1868
					
				

			

		

		

			
				
我下载的是1.13.1GPU版本，VS2022，cuda11.6，cudnn8.6.0，仅供参考。除此之外关于cuda也要注意添加一些路径保证cuda能正常启用。其他关于opencv的配置属性可以查阅其他资料。

			
		

	



                


  
              

                


	

		

			

				
					
NMS代码c++版本

				
			

			

				

					qhu1600417010的博客
				

				

					07-08
					
					261
					
				

			

		

		

			
				
【代码】NMS代码c++版本。

			
		

	





	

		

			

				
					
c++版 nms

				
			

			

				

					weixin_34378922的博客
				

				

					09-19
					
					835
					
				

			

		

		

			
				
 
目前这个代码运行会报一些错误，还要再修改修改才行

#include<iostream>
#include<vector>
#include<algorithm>
#include <stdio.h>
#include <stdlib.h>
using namespace std;


typedef struct Bbox{
   ...

			
		

	



		

			
		



	

		

			

				
					
老潘的AI部署以及工业落地学习之路

				
			

			

				

					老潘的博客
				

				

					08-08
					
					1738
					
				

			

		

		

			
				
Hello我是老潘，好久不见各位。
最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。
虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的：

模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构
模型的加速仍然不够，还没有压榨完GPU的全部潜力

深感还有很多很多需要学习的地方啊。

既然要学习，那么学习路线就显得比

			
		

	





	

		

			

				
					
Pytorch中实现CUDA加速【来自AI葵 pytorch-cppcuda-tutorial】

				
			

			

				

					RobinA380的博客
				

				

					06-03
					
					960
					
				

			

		

		

			
				
【本教程主要参考自kwea123】
GitHub - kwea123/pytorch-cppcuda-tutorial: tutorial for writing custom pytorch cpp+cuda kernel, applied on volume rendering (NeRF)
目的
实现GPU加速计算，场景有非平行运算和大量串行运算两种，本教程主要针对第一种如体素渲染的应用。
非平行运算：像体素渲染那样的，由于每次采样点个数不一样，计算过程有差别，但有相似性又需要大量重复计算。（对比像神

			
		

	





	

		

			

				
					
Python基于pyCUDA实现GPU加速并行计算功能入门教程

				
			

			

				

					09-20
				

			

		

		

			
				
本篇教程全面介绍了如何使用Python语言结合pyCUDA库来实现GPU加速的并行计算。首先，CUDA是Nvidia提供的一套能够直接访问GPU进行并行计算的架构。在CUDA的生态中，原本的实现方式依赖于C语言，这虽然功能强大，但对...

			
		

	





	

		

			

				
					
FPGA助力Python加速计算-陈志勇1

				
			

			

				

					08-03
				

			

		

		

			
				
【FPGA助力Python加速计算】  Python作为一种易学易用、可扩展性和可移植性强的编程语言，广泛应用于人工智能、数据分析等领域。然而，Python在执行效率上相对较慢，尤其是在需要大量计算的任务中，性能瓶颈明显。...

			
		

	





	

		

			

				
					
python日记(二)：密集计算加速（双重for循环为例）

				
			

			

				

					01-20
				

			

		

		

			
				
首先可以了解python的运行原理，以下总结都来自于右边链接–> Linkkkkkkkkkkkk1，Linkkkkkkkkkk2, Linkkkkkkkkkkk3 python将py文件视为一个module，python的解释器在执行模块的时候将其编译成字节码对象 ...

			
		

	





	

		

			

				
					
24式加速你的Python(小结)

				
			

			

				

					09-19
				

			

		

		

			
				
以下是对24种方法的详细解释，旨在帮助你加速Python代码。  1. **代码运行时间分析**：使用`time`模块或`%timeit`（Jupyter环境）来测量单次运行时间和多次运行的平均时间，有助于识别性能瓶颈。  2. **查找操作优化...

			
		

	





	

		

			

				
					
2_FPGA助力Python加速计算_陈志勇1

				
			

			

				

					08-03
				

			

		

		

			
				
【标题】：“2_FPGA助力Python加速计算_陈志勇1”  【内容解析】：  本文主要探讨了如何利用FPGA（现场可编程门阵列）技术来加速Python编程的计算性能。Python因其易学易用、丰富的库和高效开发工具而广泛应用于人工...

			
		

	





	

		

			

				
					
NMS算法简单优化

				
			

			

				

					03-19
				

			

		

		

			
				
修改了NMS的算法的一些内容，优化了IOU的运算速度，提供了简单的思路

			
		

	





	

		

			

				
					
插值法_拉格朗日插值_cpp源代码_数值计算

				
			

			

				

					12-17
				

			

		

		

			
				
插值法_拉格朗日插值_cpp源代码_数值计算

数值分析实验报告(六)  一. 实验名称:   插值法 二. 实验目的:   拉格朗日插值 三. 题目:（验证用）  数据：  1.0 0.7651977 1.3   0.6200860 1.6   0.4554022 1.9    0.2818186 2.2    0.1103623  在1.5处的值。  四. 程序:拉格朗日插值  附件： 1-26liaoli_6_Lagrange_Neville-Interpolation.cpp

			
		

	





	

		

			

				
					
CMake编译CUDA项目报错

				
			

			

				

					xuelanghanbao的博客
				

				

					03-29
					
					9436
					
				

			

		

		

			
				
根据文中方法，只要找到自己Microsoft Visual Studio 版本对应的BuildCustomizations文件夹，然后打开CUDA 的props文件，在CudaToolkitDir这一行将自己CUDAToolkit的路径添加上即可。找到这篇文章：https://blog.csdn.net/friendan/article/details/122517340。以Microsoft Visual Studio 2022、cuda11.6为例，打开以下目录。同时，注意到下面报错为。

			
		

	





	

		

			

				
					
libtorch 优化算法性能 从90ms 优化到3ms

				
			

			

				

					学-> 思->用
				

				

					09-14
					
					1210
					
				

			

		

		

			
				
从原来90ms 优化到3ms。

			
		

	





	

		

			

				
					
CUDA编程实战：初入江湖

				
			

			

				

					jinfagang1211的博客
				

				

					05-21
					
					441
					
				

			

		

		

			
				
CUDA编程实战：初入江湖

本文由金天原创，版权所有，欢迎转载，本文首发地址 https://jinfagang.github.io 。但请保留这段版权信息，多谢合作，有任何疑问欢迎通过微信联系我交流：jintianiloveu

CUDA看来是必备的技能了。因为在很多地方会需要，比如编写pytorch自定义层，编写TensorRT的plugin的时候，都会用到cuda编程。但其实这门技术入门比较难。本篇文章将从一个很微小的角度，来传授大家这门手艺。
看完这篇教程之后，你应该可以学会如何自己编写kern.

			
		

	





	

		

			

				
					
目标检测中NMS的GPU实现（来自于Faster R-CNN中的nms_kernel.cu文件）

				
			

			

				

					qq_21368481的博客
				

				

					01-04
					
					1万+
					
				

			

		

		

			
				
最近要修改Faster R-CNN中实现的GPU版的NMS代码，于是小白的我就看起了CUDA编程，当然也只是浅显地阅读一些教程，快速入门而已，所以具体需要注意的以及一些思想，大家移步此博主的系列教程：

在了解了CUDA编程的核心思想后，我们便可以开始阅读nms_kernel.cu文件了，先直接上源码（部分简单的已经注释），如下：


// ----------------------------...

			
		

	





	

		

			

				
					
c++版的NMS（非极大抑制）实现

					
热门推荐

				
			

			

				

					ltshan139的专栏
				

				

					03-14
					
					1万+
					
				

			

		

		

			
				
NMS(非极大抑制)是深度学习目标检测中常用的小算法，用来过滤掉同一个物体上的那些置信度较低的bbboxes，最后只剩下该目标检测框集中最大置信度的那个。

算法原理

 说它是小算法的原因是其原理很简单。

 1）先对输入检测框按置信度由高到低排序

2）挑选第一个检测框(即最高置信度，记为A）和其它检测框（记为B）进行iou计算

3）如果iou大于nmsThreshold， 那就将B清...

			
		

	





	

		

			

				
					
python加速程序运行

					
最新发布

				
			

			

				

					07-25
				

			

		

		

			
				
Python 加速程序运行主要有以下几个途径：

1. **优化算法**：选择更高效的算法可以大幅度提升程序性能。有时候，即使是简单的优化也能带来显著的效果。

2. **利用 Python 编程库和框架**：很多针对特定任务设计的库和框架已经经过了大量的优化工作。例如，对于数据处理、科学计算等应用领域，`NumPy`、`Pandas` 和 `SciPy` 等库通常比原生 Python 要快得多。同时，如`Dask`这样的库可以帮助处理大型数据集而不会导致内存溢出。

3. **多线程与异步编程**：利用 Python 的 `concurrent.futures` 模块或第三方库如 `asyncio` 进行多线程或多进程编程，可以并行执行任务，提高程序的执行效率。注意，由于 GIL（全局解释器锁），单 CPU 核心下多线程可能不会提供预期的速度提升；但对于多核心处理器，多线程仍然有明显的加速效果。

4. **使用 JIT 编译器**：JIT（Just-In-Time）编译器可以在程序运行时将部分或全部 Python 代码转换成机器码，减少解释过程带来的性能损耗。例如，`Numba` 就是一个流行的 Python JIT 编译器，它特别擅长加速数学密集型代码。

5. **降低 IO 开销**：IO 操作通常是 Python 程序的瓶颈之一。优化文件读写、数据库查询等操作，比如通过缓存策略减少频繁访问，可以有效提升性能。

6. **编写 Cython 或 C/C++ 插件**：对于最核心的部分，可以考虑使用 C/C++ 编写代码并通过 Cython 或其他工具将其集成到 Python 中，这种方式可以极大提高关键模块的执行速度。

7. **避免全局变量和递归调用**：过多使用全局变量可能导致性能下降，因为每次函数调用都需要从堆栈上下文切换和恢复状态。递归调用同样会消耗大量的系统资源，并可能导致栈溢出错误。

8. **使用低级语言编写的高性能库**：如使用 Cython 直接调用 C 函数，或者使用像 Numexpr 这样的库，它们底层都是用 C 或 C++ 实现的，能提供极高的性能。

9. **调整 Python 解释器设置**：适当调整 Python 解释器的配置选项，如启用 GC（垃圾回收）优化、调整循环缓冲区大小等，有时也可以提高程序运行效率。

实施上述方法时，应先对程序进行详细的性能分析，找出瓶颈所在，然后针对性地采取措施。记住，在追求性能的同时，也要考虑到代码的可维护性和可读性。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值