自己部署运行PlaneRecNet

自己部署运行PlaneRecNet GitHub - EryiXie/PlaneRecNet: This is an official implementation for "PlaneRecNet" (BMVC 2021).

python3 simple_inference.py --config=PlaneRecNet_101_config --trained_model=weights/PlaneRecNet_101_9_125000.pth --image=data/example_nyu.jpg

但是运行这句出现 cuda相关的报错，这个在虚拟机里面可能就不好弄了

要么去NX上跑跑？

居然没装pytorch?

可能pytorch没法二进制安装 Jetson nx或其他aarch64 使用anaconda虚拟环境构建GPU版本的Pytorch cuda可用的前提下完整教程_nx anaconda-CSDN博客

之前没有指定python版本创建时给我默认的python2.7的，现在我重新创建一个

conda create -n PlaneRecNet1 python=3.8

现在成缺cv2了

现在又回到说缺torch了

那正好可以下这两个 PyTorch for Jetson - Announcements - NVIDIA Developer Forums

似乎是torch与torchvision都得装，看网上的教程 Jetson NX系统烧录以及CUDA、cudnn、pytorch等环境的安装_jetson nx cuda-CSDN博客

安装torchvision可以参考这里，关键是版本要确定好

其实Github这里有给版本对应关系 GitHub - pytorch/vision: Datasets, Transforms and Models specific to Computer Vision

那这样我的torch可以装v2.0的，torchvision装0.15版本的

torchvision的0.15版本又分好多....

我把torch-2.0.0+nv23.05-cp38-cp38-linux_aarch64.whl下下来了

pip install torch-2.0.0+nv23.05-cp38-cp38-linux_aarch64.whl

干脆先下个最新的0.15版本的

git clone --branch  v0.15.2 https://github.com/pytorch/vision torchvision
cd torchvision
python setup.py install --user 

ImportError: libopenblas.so.0: cannot open shared object file：No such file or directory-CSDN博客

装torchvision的时间挺长的，但还是装完了

现在再回来运行PlaneRecNet，不说缺torch，变为缺scipy了

ModuleNotFoundError: No module named ‘scipy‘解决方案_modulenotfounderror: no module named 'scipy-CSDN博客

再运行现在说缺权重文件了

权重文件好像得专门在这下

把权重文件下好然后再运行python3 simple_inference.py --config=PlaneRecNet_101_config --trained_model=weights/PlaneRecNet_101_9_125000.pth --image=data/example_nyu.jpg

这个似乎是刚生成的结果

以及深度图

原来仓库里面是没有深度图和检测结果的！！！！！看来它平面检测是建立在深度图的基础之上的？

是否这种深度学习网络对图像分辨率都很敏感。

看来这些基本把环境部署好，权重文件下好，就可以直接运行了，YOLO也是这样。借助于conda解决环境冲突的问题。

我自己又放了一张D435i拍的彩色图片，640*480分辨率的，文件名是image.png

运行下面命令之后

python3 simple_inference.py --config=PlaneRecNet_101_config --trained_model=weights/PlaneRecNet_101_9_125000.pth  --image=data/image.png

对应文件夹里面也新增了这两张图片！！！！一个深度图一个平面分割图。这个深度图的效果还是震撼到我了的！！！！真的是太厉害了，佩服佩服，运行时间上，确实在OrinNX上，一张照片也要运行好几秒钟的样子。毕竟权重文件也有一百多M呢。

我看了下图像分辨率是1280720的，不是640480的，有可能是这个影响了它平面的检测效果！！！但似乎不影响深度的检测效果。

============================================================================= PlaneRecNet环境部署运行步骤整理

因为需要CUDA,所以选择在OrinNX上运行

先装anaconda

基于anaconda创建虚拟环境

下PlaneRecNet

装环境

装pytorch torchversion（注意版本对应）

下权重文件

运行