(2023 CVPR)CompletionFormer: Depth Completion with Convolutions and Vision Transformers复现

1. apex安装

pip install apex

不需要加nvidia

window和Linux下安装nvidia的apexhttps://www.cnblogs.com/peixu/p/14614013.html

 换到linux上不行，改用下面这种方式

也不行 最终还是

2. No module named 'DCN' 

运行make.sh

或者在conda环境下

conda activate [your_python_env]
cd mm_modules/DCN
python setup.py build install

sh文件里也是上述最后一行的内容。

发生异常: AssertionError

MMCV==2.2.0 is used but incompatible. Please install mmcv>=(1, 3, 13, 0, 0, 0), <=(1, 5, 0, 0, 0, 0).

3. Building wheel for mmcv (setup.py) ... error解决办法！

尝试了各种办法，最后以下方法解决：
pip install -U openmim
mim install mmcv-full

能够安装成功，但是程序中仍然报错

Building wheel for mmcv-full (setup.py) ... error解决办法！_error: failed building wheel for mmcv-full-CSDN博客

继续。。。。知道按这篇指导下载成功，程序中也不报错了，原因还是要根据cuda和pytorch版本生成对应的安装链接

安装MMCV报错解决方案（ERROR: Failed building wheel for mmcv-full）-CSDN博客

4. 又是依赖包报错。。。

from torch.utils.tensorboard import summarywriter报错

继续跟着官方github指导安装依赖包。。。

pip install timm tqdm thop tensorboardX opencv-python ipdb h5py ipython Pillow==9.5.0 

tensorboard找不到，再单独安装，安装成功，代码中找不到，气死。。。。。。

注释掉了 不用了

5. 换新环境重新安装

新安装annaconda，这里注意，安装好后需要重新打开节点，不然会报错conda command not found

github提供的链接下载报错。换成官网上链接如下：

conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge

贡献：

我们建议将 Vision Transformer 与卷积注意力层集成到一个块中以实现深度补全，使网络能够同时拥有局部和全局感受野，用于多模态信息交互和融合。特别是，引入空间和通道注意力来增加卷积层的容量。

以所提出的联合卷积注意和变换器（JCAT）块为基本单元，我们引入了单分支网络结构，即CompletionFormer。这种优雅的设计使得计算成本与当前基于 CNN 的方法相当，同时与纯粹基于 Transformer 的方法相比，效率显着提高。

• 与最先进的方法相比，我们的CompletionFormer 在深度补全方面有了显着的改进，特别是当提供的深度非常稀疏时（在实际应用中经常发生这种情况）。