ninja和PreciseRoIPooling的问题

在网上看到了很多关于解决PreciseRoIPooling和ninja的帖子,发现主要原因是版本不匹配。
但是网上的教程所使用的cuda、pytorch版本都较老,cuda基本都是10以下,pytorch版本也都是1.7左右。

深度学习中的 PreciseRoIPooling 在linux系统中的编译说明及踩坑

并不想更改自己的pytorch版本,运行其他代码来说很麻烦。于是记录一下自己的解决过程。

1. 配置:ubuntu20.04 + pytorch1.12.0(之前已经使用过的虚拟环境中的torch版本)
在这里插入图片描述
注意:上述显示的是已经安装的显卡驱动,和GPU所允许的最大CUDA版本,并不是已经装好的CUDA版本!!!

2. 查看自己的CUDA版本:

`nvcc -V

(注意:V是大写,之前一直用小写v,一直报错,纠结了好久是哪里出问题了。。。)
发现出现了问题:

`-bash: nvcc: command not found

表示并没有装CUDA。

3. 安装CUDA和CUDNN
Linux系统CUDA安装及踩坑记录
我安装了GPU所允许的最大CUDA版本11.6.0。
在这里插入图片描述

此时遇到了问题:输入命令后一直显示建立连接,总是超时重试。
在这里插入图片描述

解决办法:在本地下载然后上传到服务器上。直接将上述命令中的网址输入到浏览器中就自动下载了(上图中蓝色部分)。在服务器上找到这个文件的位置,然后执行第二条命令。
安装cudnn的过程就是按照上述链接中的操作来的,没有遇到问题。
在这里插入图片描述

4. 装ninja

wget https://github.com/ninja-build/ninja/releases/download/v1.8.2/ninja-linux.zip
sudo unzip ninja-linux.zip -d /usr/local/bin/
sudo update-alternatives --install /usr/bin/ninja ninja /usr/local/bin/ninja 1 --force 

此时出现了深度学习中的 PreciseRoIPooling 在linux系统中的编译说明及踩坑中出现的问题。(忘记截图,借用该帖子的图)
在这里插入图片描述
重要的是第二个红框中的错误,表示gcc、g++的版本无法编译。查看自己的gcc版本:

gcc -v

在这里插入图片描述
最后一行显示版本号,这儿是我降级完之后的版本,原始版本为9.4。

5. 降级gcc和g++版本
linux系统gcc降版本,并更改默认版本
根据上述教程将版本降为8。

sudo apt-get install gcc-8 g++-8
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 100

注意:上述命令只更改了gcc的版本,还需要更改g++的版本,只需要将上面第二行命令中的gcc全部改为g++就可以了。

6. 更改头文件
降级完gcc版本之后,仍然存在问题:
在这里插入图片描述
重点还是在于第二个红框:

/data/model/PreciseRoIPooling/pytorch/prroi_pool/src/prroi_pooling_gpu.c:17:10: fatal error: THC/THC.h: 没有 那个文件或目录
#include <THC/THC.h>
^~~~~~~~~~~
compilation terminated.
ninja: build stopped: subcommand failed.

网上查找教程,关于THC/THC.h: No such file or directory解决办法,出现这个问题的原因是pytorch1.7版本之后丢弃了这个头文件,网上给的解决办法大部分都是降级pytorch的版本。

不降级pytorch的办法:
找到上述这个错误的位置,“PreciseRoIPooling/pytorch/prroi_pool/src/prroi_pooling_gpu.c”,注释掉原来的THC头文件,用以下的头文件代替。

#include <ATen/cuda/CUDAContext.h>
#include <ATen/cuda/CUDAEvent.h>

在这里插入图片描述
7. 更改方法
更改完头文件之后仍然存在问题。
在这里插入图片描述
该头文件相关的方法出现了问题。
解决办法:fatal error: THC/THC.h: No such file or directory 对于THCudaCheck,换成AT_CUDA_CHECK

8. 成功运行!!

### Ninja与PyTorch的关系及其集成 Ninja 是一种构建系统工具,旨在提高大型项目的编译速度。它通常与其他构建工具(如 CMake)配合使用来优化项目依赖关系并减少不必要的重新编译过程[^2]。 #### 1. Ninja 的作用 Ninja 被设计用于快速处理复杂的构建流程。相比于传统的 Make 工具,Ninja 提供更高效的增量构建能力以及更好的多线程支持。这使得在开发过程中频繁修改源码时能够显著缩短等待时间。 #### 2. PyTorch 中的 Ninja 使用场景 当开发者希望扩展 PyTorch 功能或者添加自定义操作符时,可能需要编写底层实现代码并通过 C++ 或 CUDA 实现性能敏感的部分逻辑。此时可以利用 CMake Ninja 来管理这些外部模块的编译工作流。 具体来说,在创建自定义算子的过程中,可以通过以下步骤完成: - **设置环境变量**: 如果想让 CMake 使用 Ninja 进行构建,则需提前指定 `CMAKE_GENERATOR` 变量指向 Ninja。 ```bash export CMAKE_GENERATOR=Ninja ``` - **调用 cmake 命令**: 接下来按照常规方式进行配置阶段的操作即可自动切换到基于 Ninja 的生成器模式下执行后续任务。 - **实际应用案例** 下面展示了一个简单的例子说明如何加载动态链接库文件并与 Python 层交互: ```python import torch # 加载共享对象(.so/.dll)形式存在的插件组件 torch.ops.load_library("./custom_group_norm.dll") # 测试输入张量数据结构初始化 X = torch.randn(3, 2, 1, 2) num_groups = torch.tensor([2.]) scale = torch.tensor([1., 1.]) bias = torch.tensor([0., 0.]) # 执行注册后的函数名空间下的新方法调用 result = torch.ops.my_ops.custom_group_norm(X, num_groups, scale, bias, 0.) print(result) ``` 上述脚本片段展示了通过导入预先编译好的二进制目标产物后可以直接访问新增加的功能接口。 #### 3. 安装 CPU 版本 PyTorch 并验证其可用性 对于某些特定场合比如缺乏 GPU 支持或是不打算启用 ROCm 技术栈的情况之下,可以选择仅部署纯 CPU 构建版别的框架实例化方案[^3]。命令如下所示: ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu ``` 此语句会下载适配当前平台架构条件的最佳候选者组合包集合,并将其安装至本地环境中去满足进一步实验需求。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值