Maskrcnn/Faster-rcnn依赖项安装过程中THC.h: No such file or directory/THCeilDiv Undefined/分配内存空间等问题的解决方案

駋駋

已于 2023-10-05 17:50:02 修改

阅读量1.2w

点赞数 89

文章标签： python pytorch 计算机视觉

于 2023-02-22 23:42:19 首次发布

本文链接：https://blog.csdn.net/code_zhao/article/details/129172817

版权

在论文复现安装maskrcnn-benchmark依赖项的过程中，遇见了pytorch版本不匹配导致的无法安装的问题，现存的大多数内容都建议安装低版本的pytorch以解决问题，但也不能总是这么干，不然自己这兼容性也太差了，顺便也吐槽一下pytorch的兼容性问题。在此总结一下，方便遇到相似问题进行参考。

主要遇到的问题在于与THC相关的包很多都在pytorch更新的过程中被抛弃了，导致很多.cu文件在安装依赖项时出现了不匹配的问题。

本文中使用ubuntu-16.04.1操作系统，pytorch版本为1.13.1，cuda版本为11.6，如pytorch更新后有更多的修改，请参阅其他文章。（以下问题基本是由于pytorch由10.x更新为11.x后产生的不兼容问题。）

Q1 fatal error: THC/THC.h: No such file or directory

开始时首先遇到了头文件无法引用的问题，这个问题参考了博客(138条消息) fatal error: THC/THC.h: No such file or directory_thc/thc.h: 没有那个文件或目录_o0stinger0o的博客-CSDN博客的内容，时间在22年3月-4月之间，以及博客中提到的github代码中更新的内容。

可以看到，在/maskrcnn_benchmark/csrc/cuda文件夹中的所有以.cu结尾的代码文件中删除了下述头文件：

#include <THC/THC.h>

并且把所有的

THCudaCheck(cudaGetLastError());

替换成了

AT_CUDA_CHECK(cudaGetLastError());

Q2 "THCCeilDiv" is undefined

之后又找到出现了这个问题，再调查一番，发现pytorch后来没有对这个函数的定义了，因此需要进行更换。

基于这样的想法，查阅资料找到Faster RCNN pytorch 1.0版调试（踩坑）过程记录 | 码农家园 (codenong.com)中这样的一段代码：


//dim3 grid(std::min(THCCeilDiv(**, 512L), 4096L));
dim3 grid(std::min(((int)** + 512 -1) / 512, 4096));

可以用这样的方式进行替换：即对每个.cu文件中调用THCCeilDiv(x,y)的地方，都把这个函数换成 (x+y-1)/y的形式，即可完成变换。

--2023.10.5--

在翻看的过程中找到了官方对此函数不再支持使用的文档。

Migrate remainder of THCDeviceUtils.cuh to ATen by peterbell10 · Pull Request #65472 · pytorch/pytorch · GitHub

在所有使用此函数的文件中加入头文件：

#include<ATen/ceil_div.h>

随后进行代码替换：


//dim3 grid(std::min(THCCeilDiv(**, 512L), 4096L));
dim3 grid(std::min(at::ceil_div(**, 512), 4096));

即可实现与上面方法相同的修改。

--2023.10.5--

Q3 THCudaMalloc、THCudaFree THCState undefined

这三个问题本质是一个问题，就是在更新过程中pytorch不再需要malloc和free，也自然不需要state用于帮助申请空间。这里参考了PyTorch 1.11 发布，带来 TorchData 和 functorch 两个新库_支持_linalg_Tensor (sohu.com)和(138条消息) 项目环境由pytorch1.10升级1.11中间要改的东西_pytorch1.11和1.10_小随风_hi的博客-CSDN博客两个文档，其中后一个文档的2成功帮助我解决了Q3这个问题。其实就是库废掉了，需要换一下使用的函数。

首先在用到Malloc和Free函数的文件中加入头文件

(有可能需要将THCThrustAllocator.cuh替换为该文件或直接include)


#include <ATen/cuda/ThrustAllocator.h>

与之相关的共有三个语句，分别为用THCState构建一个state，再将state输入Malloc函数生成空间，随后通过free释放掉上述空间。

此处我们注释掉THCState这句话，因为在新的pytorch中不需要使用该数据类型来生成Malloc所需空间。


THCState *state = at::globalContext().lazyInitCUDA(); // TODO replace with getTHCState

之后我们将THCudaMalloc按照下文的形式修改（旧函数第二个参数作为新函数的唯一参数）


//mask_dev = (unsigned long long*) THCudaMalloc(state, boxes_num * col_blocks * sizeof(unsigned long long));
mask_dev = (unsigned long long*) c10::cuda::CUDACachingAllocator::raw_alloc(boxes_num * col_blocks * sizeof(unsigned long long));

THCudaFree的替换方式如下：


// THCudaFree(state, mask_dev);
c10::cuda::CUDACachingAllocator::raw_delete(mask_dev);

注意一定要在最前面include一下ThrustAllocator.h头文件，否则会报错！

至此，上述问题全部解决，没有降低pytorch版本即可解决问题。我需要的内容也成功编译。

对于THC本身，在这个过程中我也了解了一下，可移步参考(138条消息) PyTorch源码浅析(2)：THC_邵政道的博客-CSDN博客_thcstate。不过这个也是过去式了，了解下就好了。还是要向前看的。

若后续还有什么新的相关内容再更新一下子吧。