论文复现：“DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation“

最新推荐文章于 2024-05-23 19:57:42 发布
最新推荐文章于 2024-05-23 19:57:42 发布
阅读量9.6k 收藏 80
点赞数 44
分类专栏： python 三维视觉 paper 文章标签： linux python ubuntu 计算机视觉 debug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38677322/article/details/110957634
版权
python 同时被 3 个专栏收录
5 篇文章 1 订阅
订阅专栏
三维视觉
2 篇文章 4 订阅
订阅专栏
paper
1 篇文章 0 订阅
订阅专栏

目录

一、 数据集生成

（一）环境配置说明

这篇博文主要讲解“DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation”这篇paper复现过程中的环境配置工作。由于DeepSDF并没有直接给出训练数据集，只是给出了从原始ShapeNet数据集转SDF数据集的前处理代码，所以需要花费大量的工作来配置数据集处理所需的环境。

强烈建议这一部分在本地完成，不要在远程服务器上进行。 因为远程服务器上一般来说没有管理员权限，没有办法运行sudo apt install指令，因此没有办法把依赖包下载到/usr目录。

针对上面的问题，一种解决办法是把需要的软件包源码下载到自己的用户目录，然后手动编译，再在~/.bashrc中编辑环境变量，把动态链接库指向自己用户目录下的库文件。但这样会带来各种各样的问题，因为有一些库文件并不能直接下载源码&编译，有一些库文件还需要用到其它系统库文件的依赖，往往解决了一个bug还会出现另一个bug。我一开始打算这样在服务器上配置环境，但后来因为各种难以解决的bug而放弃了。

另一种解决办法是在本地的linux环境中配置，因为这一阶段不涉及到训练，只是生成数据集。我们完全可以在本地生成数据集，之后传到服务器上进行训练。本地的linux环境可以考虑在windows上的双系统，或者使用虚拟机。这篇博文主要讲解这种方法，我最后也是使用这种方法配置成功的。我使用的linux系统为Ubuntu16.04.

（二）cmake和make

首先要保证系统中有cmake和make。在命令行里输入

cmake --version
make --version

可以查看cmake和make是否安装，如果显示如下说明已经有cmake和make。
在这里插入图片描述
如果提示“找不到make指令”或“找不到cmake指令”，就需要下载。
下载make命令可以直接使用

sudo apt install make

下载cmake命令如果直接使用sudo apt install cmake会下载最新版本的cmake（现在是3.5.1版本），但SDF这个项目编译使用的cmake是低版本的，如果直接使用最新的cmake，在后面的编译过程会报错。建议使用3.14版本。下载旧版本cmake的方法参考下面这篇文章：查看gcc版本并安装cmake3.14.1。具体操作步骤为：

# 源码包下载到本地
wget https://github.com/Kitware/CMake/releases/download/v3.14.1/cmake-3.14.1.tar.gz 
# 解压
tar xvf cmake-3.14.1.tar.gz 
cd cmake-3.14.1/
./bootstrap
make
# 安装
sudo make install
# 如果需要移除旧版本的cmake
yum remove cmake -y 
ln -s /usr/local/bin/cmake /usr/bin/

（三）安装CLI11

从这里开始，要安装SDF处理数据集所需要的四个C++库文件，这在它的README里面也提到了。第一个是CLI11，这个库的github地址是https://github.com/CLIUtils/CLI11 ，在命令行里面运行

git clone https://github.com/CLIUtils/CLI11 --recursive

将这个项目克隆到本地。注意因为这个项目引用了别的项目，所以git后面要加--recursive参数。

接下来编译和安装：

cd CLI11
mkdir build
cd build
cmake ..
make
sudo make install

如果过程中没有报错则说明安装好了。在 /usr/local/lib/cmake 下可以找到名为CLI的文件夹。

（四）安装Eigen3

这个库不是github项目，需要下载源代码然后编译安装。首先将源码包下载下来：

wget https://gitlab.com/libeigen/eigen/-/archive/3.3.9/eigen-3.3.9.tar.gz

然后解压：

tar xvf eigen-3.3.9.tar.gz

之后就像前面一样，编译并安装：

cd eigen-3.3.9
mkdir build
cd build
cmake ..
make
sudo make install

如果没有报错则说明安装好了。

（五）安装Pangolin

在安装这个之前首先需要安装一些依赖库。在命令行中运行如下语句：

sudo apt install libgl1-mesa-dev
sudo apt install libglew-dev
sudo apt install libpython2.7-dev
sudo apt install pkg-config

然后将github上的Pangolin项目克隆到本地：

git clone https://github.com/stevenlovegrove/Pangolin --recursive

然后和之前一样，进行编译和安装：

cd Pangolin
mkdir build
cd build
cmake ..
make
sudo make install

如果上诉过程没有报错，则说明安装好了。

我自己安装过程中，在make命令运行到80%时碰到了"undefined reference to ‘PyString_Size’"这个问题，如下：
在这里插入图片描述
参考https://github.com/pytorch/pytorch/issues/591，可能是系统里自带的python版本有bug，解决办法是在系统里重新安装一遍python2.7，把系统默认的python替换掉。重新安装python的方法参见：Linux安装python2.7、pip和setuptools
，具体步骤如下：

# 源码包下载到本地
wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz
# 解压
tar -zxvf Python-2.7.14.tgz
# 创建安装文件夹
mkdir /usr/local/python27
# 编译安装
cd Python-2.7.14
./configure --prefix=/usr/local/python27/ 
make
sudo make install

安装完成之后，需要替换掉现有系统的python。不需要删除掉，只需要替换掉软链接即可。当前系统的python应该是指向/usr/bin目录下的python可执行文件，可以输入ls /usr/bin/python* -l查看：
在这里插入图片描述
其中，/usr/bin/python和/usr/bin/python2都是指向/usr/bin/python2.7的软链接。此时应该删除这两个软链接，并把它们重新指向我们新下载好的python，具体操作如下：

# 删掉之前的软链接
sudo rm /usr/bin/python
sudo rm /usr/bin/python2
# 新建软链接
ln -s /usr/local/python27/bin/python2.7 /usr/bin/python
ln -s /usr/local/python27/bin/python2.7 /usr/bin/python2

之后删掉Pangolin/目录下的build文件夹，重新进行上述步骤：

mkdir build
cd build
cmake ..
make
sudo make install

没有再报错，安装完成。

（六）安装nanoflann

这个库文件跟CLI11的安装方法类似，也不太会碰到多余的问题。首先从github上将这个目录克隆下来：

git clone https://github.com/jlblancoc/nanoflann

然后编译安装：

cd nanoflann
mkdir build
cd build
cmake ..
make
sudo make install

如果过程中没有报错则说明安装好了。

（七）编译SDF

在上面四个库都安装完成后，就可以安装SDF了。和之前的操作一样，在DeepSDF目录下，输入下面的命令：

mkdir build
cd build
cmake ..
make
sudo make install

如果过程中没有报错，则安装成功。
我在cmake过程中碰到了下面的问题：
在这里插入图片描述
这是因为cmake缺少zlib库，需要手动下载安装，可以使用如下命令安装：

wget http://www.zlib.net/zlib-1.2.11.tar.gz
tar -xvzf zlib-1.2.11.tar.gz
cd zlib-1.2.8.tar.gz
./configure
make
sudo make install

之后再次运行cmake就没问题了。

此外，我在make过程中碰到了下面的问题：
在这里插入图片描述
参考 https://github.com/facebookresearch/DeepSDF/issues/29 的解决方案，到github上把这个文件夹 https://github.com/stevenlovegrove/Pangolin/tree/master/include/mpark 下载下来，放到/usr/local/include/目录下即可。从github下载单个文件夹可以使用GitZip插件，在http://kinolien.github.io/gitzip/这个网站上直接输入mpark的路径，即可下载这个文件夹而不下载整个git项目。

在make过程中还可能存在下面的问题：
在这里插入图片描述
这是因为系统安装nanoflann.hpp时的路径有问题。查看一下/usr/local/include/目录，现在目录下可能是这个样子的：
在这里插入图片描述
解决办法是在该目录下新建一个名为nanoflann的文件夹，然后把nanoflann.hpp这个文件移到文件夹中去，具体操作方法和操作之后的文件夹组织如下：
在这里插入图片描述
之后再次运行make命令，可以正常编译了。

在make install完成后，应该能够在DeepSDF/bin目录下产生两个可执行文件，分别是PreprocessMesh和SampleVisibleMeshSurface，如果有这两个文件则说明SDF的环境都配置成功了。

（八）处理数据集

SDF给出了一个名为"preprocess_data.py"的代码，这个代码能够把ShapeNetV2数据集转换成SDF数据集。在运行这个代码之前，首先要配置好python环境。README里并没有给出python的版本号和requirements.txt，我使用的是python3.6，需要安装的包有以下几个：

pytorch==1.1.0
torchvision==0.3.0
cudatoolkit=10.0
plyfile
scikit-image
trimesh

可以使用anaconda3新建一个python3.6的虚拟环境，然后使用conda install命令依次下载上面的包。

注意：安装的pytorch版本不能高于1.1.0，因为有一些库不支持高版本的pytorch，会报错。

准备好ShapeNetV2数据集后，转换数据之前还有一步操作。DeepSDF的渲染器代码有语法错误，需要进行修正。在DeepSDF/src/ShaderProgram.cpp文件中，把第97行删掉，也就是in int gl_PrimitiveID ;这一句：

@start fragment
#version 330 core

in vec3 viewDirection_cam;
in vec3 normal_world;
in vec3 normal_camera;
in vec4 xyz_world;
in vec4 xyz_camera;
in int gl_PrimitiveID ; //删掉这一行

uniform vec2 slant_thr;
varying vec4 ttt;
uniform mat4 V;
uniform mat4 ToWorld;

做完这一步，就可以在DeepSDF目录下运行下面的代码，将ShapeNetV2数据集转换成SDF数据集了（训练数据集）。--source选项指向ShapeNetCore.v2数据集的存放位置。export MESA_GL_VERSION_OVERRIDE=3.3这句话是指定代码支持3.3版本的GLSL语法，否则会发生GLSL版本冲突。

mkdir data
export MESA_GL_VERSION_OVERRIDE=3.3
python preprocess_data.py --data_dir data --source [...]/ShapeNetCore.v2/ --name ShapeNetV2 --split examples/splits/sv2_sofas_train.json --skip

在这个处理过程中，可能会报Unable to read texture 'texture_4'和GL Error 500这两个error，但不用管它们，不影响最后的生成。

在这里插入图片描述
上面是运行过程的截图。在代码运行过程中，每个ShapeNet文件会对应生成一个没有内容的空白窗口，不要关闭这些窗口，等代码处理完会自动关闭的。preprocess_data.py会把数据生成在data/SdfSamples/ShapeNetV2目录下，每个ShapeNet物体大概需要1分钟左右的时间来生成一个SDF训练数据文件。

二、模型训练

（一）SDF数据浅析

生成的SDF数据是一个npz文件，使用numpy可以读取该文件格式。这个数据拥有两个属性’pos’和’neg’，分别是mesh外部和内部的采样点。每一条数据有4个属性，前3个属性值是点的xyz坐标，第4个是SDF值（> 0在mesh外部，< 0在mesh内部），如下：
在这里插入图片描述
将一个沙发数据可视化出来的样子如下，这里用颜色标注距离，越接近表面的点颜色越红，越远离的点颜色越绿。从可视化结果能够看出来，SDF是在空间立方体中采了几十万个点，对每个点计算到mesh表面的距离，这个SDF的计算值还是很准确的，从红点处形成的surface是非常接近ground truth sofa的。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（二）训练过程

在获得了SDF训练数据之后，就可以开始训练了。训练方法使用DeepSDF提供的训练代码：

python train_deep_sdf.py -e examples/sofas

如果前面的环境都配置成功，运行上面的指令应该就可以开始进行网络的训练。代码会自动读取之前生成好的DeepSDF数据集，并进行训练。

三、数据集地址

生成好的数据集已经上传到网盘，大家可以自行下载，链接见下方~

https://cloud.tsinghua.edu.cn/d/fc0f8f8a63974990a4a5/

密码：20220107

zParquet
关注
  • 44
    点赞
  • 踩
  • 80
    收藏
    觉得还不错? 一键收藏
  • 100
    评论
专栏目录
DeepImplicitTemplates:“用于3D形状表示的深层隐式模板”的实现
03-12
用于3D形状表示的深层隐式模板 郑泽荣，陶涛，戴琼海，刘叶彬。 arXiv 2020。 该存储库是的实现。 全文请。 引用DIT 如果您在研究中使用DIT，请引用以下： @misc{zheng2020dit, title={Deep Implicit Templates for 3D Shape Representation}, author={Zheng, Zerong and Yu, Tao and Dai, Qionghai and Liu, Yebin}, year={2020}, eprint={2011.14565}, archivePrefix={arXiv}, primaryClass={cs.CV} } 要求 Ubuntu 18.04 Pytorch（在1.7.0上测试） 层文件 matplotlib 忍者 感伤 张量板 ender 演示版 此仓库包含适用于汽
ShapeNetCore(point cloud)
07-31
ShapeNetCore(point cloud)
DeepSDF配环境
u013630299的博客
05-29 334
依赖：CLI11（1.9) Pangolin (v 0.6) nanoflann Eigen3 variant https://github.com/mpark/variant.git 后面有空再写
DeepSDF阅读
最新发布
qq_49130177的博客
05-23 291
之前文章的sdf都是离散的，只能得到固定网格位置的sdf值，想要得到随意位置的sdf值需要对当前位置的邻居的sdf值进行采样。DeepSDF用神经网络拟合SDF函数。由于神经网络的拟合性质，能够预测任意位置的sdf值。在DeepSDF表示单个物体的基础上提出Auto-decoder架构，实现重建某一类形状的任务，将模型大小减少了一个数量级。针对给定的目标形状训练单个深度网络。给定目标形状，准备一组由3D点及其SDF值组成的组X。对于输入三维坐标x，得到当前位置处的SDF值s，组成X对。
Deepsdf论文复现-ubuntu20.04-2023.04.08
cgsmalcloud的博客
04-08 618
【代码】Deepsdf论文复现-ubuntu20.04-2023.04.08。
Deep SDF 、NeuS学习
qq_44708206的博客
11-17 4899
Deep SDF NeuS学习
Truncated Signed Distance Function: Experiments on Voxel Size
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-20 634
论文：Truncated Signed Distance Function: Experiments on Voxel Size 简称：TSDF 作者：Diana Werner等 时间：2014 相关：SDF 重要的一张图： (a)中，绿色是物体表面，蓝色三角是视锥范围，黄色深度为正，红色深度为负，灰色是靠近表面的一些体素。 (b)中，以左图的蓝色射线为例，深度--tsdf的关系，距离表面的[-1000mm, 1000mm]是[-1, 1]的截断处，tsdf=0处为表面。 从SDF...
【代码复现】DIF-Net: Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence复现记录
passer__jw767的博客
01-13 988
本篇博客记录了一些DIF-Net论文的阅后感和一些简单的复现过程及纠正过程，最后附上了generate的一点点复现结果
DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation
qq_43420530的博客
01-16 7193
相关工作 3D形状补全 类似于2D的计算机视觉里面的图像修复工作，3D形状补全工作的目的是基于一些部分的或离散的输入，推理出这个3D物体全部的形状。比如说给我几个离散的SDF函数的值，我把整个连续的SDF函数给搞出来，给我任意的输入我都能得到应有的数值。之前传统的方式是使用径向基函数（RBF），或者将其看做是一个泊松问题，但是这些方式是以数学理论为依托的，虽然合理性得到了保证，但是缺点就是一次仅仅只能建模一个单一的3D物体。最近随着深度学习的发展，这种3D补全工作开始以数据为驱动，常用的模型便是编码-解码架
DeepSDF:学习连续符号距离函数进行形状表示
04-29
深度自卫队这是Park等人在CVPR '19论文“ DeepSDF：学习...{DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation},booktitle = {The IEEE Conference on Computer Vision and Pattern
sdfTools:有符号距离功能的工具集
04-16
sdf工具 一个带有python界面的简单工具，用于创建基于符号距离函数的几何。安装安装该工具需要： Unix环境支持c++11或更高版本的编译器cmake 3.8或更高python解释器3.6或更高版本点子git clone git@github....。
CLI11：CLI11是C ++ 11和更高版本的命令行解析器，它提供了具有简单直观界面的丰富功能集
02-05
CLI11：C ++ 11的命令行解析器 •• CLI11是C ++ 11和更高版本的命令行解析器，它提供了具有简单直观界面的丰富功能集。 目录 在上次发行的主要版本中添加的功能标有“ :NEW_button: “。仅母版中可用的功能标有“ :construction: ”。 背景 介绍 CLI11提供了功能强大的命令行解析器中所期望的所有功能，并且具有美观，最少的语法，并且没有C ++ 11以外的任何依赖项。 它仅是标题，并且以单个文件形式出现，以便于包含在项目中。 它对于小型项目易于使用，但对于复杂的命令行项目却足够强大，并且可以针对框架进行定制。 它已在 ， ， 和上进行了测试，。 它的灵感来自于Python的 。 CLI1
self-signed-ssl:使用OpenSSL生成自签名TLS证书
03-21
用法self-signed-tls [OPTIONS]self-signed-tls --trust -c US -s California -l 'Los Angeles' -o 'Example Org' -u 'Example Unit'self-signed-tls --ca-key=/path/to/CA.key --ca-cert=/path/to/CA.pem --ca-only...
Unity-Signed-Distance-Field-Shadow:Unity中的带符号距离场阴影
05-13
Signed Distance Field (SDF) 阴影是一种高效且质量高的阴影技术，它能够提供平滑、无锯齿的边缘，尤其适用于2D和低多边形风格的游戏。本文将深入探讨Unity中的Signed Distance Field (SDF) 阴影技术，以及如何利用...
14、三维表面重建-DeepSDF
小白的博客
08-18 4065
DeepSDF
ShapeNet数据集及dataset代码分析
热门推荐
qq_37534947的博客
11-27 1万+
文章目录1.数据集简介2.数据集结构3.Datasets 读入代码分析 1.数据集简介 ShpaeNet是点云中一个比较常见的数据集，它能够完成部件分割任务，即部件知道这个点云数据大的分割，还要将它的小部件进行分割。它总共包括十六个大的类别，每个大的类别有可以分成若干个小类别（例如，飞机可以分成机翼，身体等小类别），总共有五十个小类别。下面可视化一下，经过采样和上色后它长什么样子。 可以发现，它不仅将桌子和椅子进行了分割，还对它的桌子腿等小部件也分割为不同的颜色。 2.数据集结构 下载好数据集之后
deepsort论文复现（纯小白自己记录）
Java66666667的博客
02-24 1011
deepsort相较于sort增加了ReID类的特征提取和马氏距离计算相融合的技术，明显改善了IDswitch的次数。刚开始学习多目标跟踪的小白，继上次复现了sort之后，这次准备复现一下deepsort。代码地址：https://github.com/nwojke/deep_sort。代码直接解压缩即可。
Deep SDF代码问题解决
cgsmalcloud的博客
03-25 1306
运行文章代码时出现了一些问题，下面将问题整理如下： 问题1：内联代码片。 // CMake Error at CMakeLists.txt:4 (find_package): Could not find a package configuration file provided by "CLI11" with any of the following names: CLI11Config.cmake cli11-config.cmake Add the installat
DeepSDF环境配置及训练遇到的问题
weixin_43969015的博客
09-20 892
DeepSDF的环境配置及训练中的问题
: SSL certificate problem: self-signed certificate
09-21
SSL证书问题中的"self-signed certificate"是指使用自签名证书。自签名证书是由网站自己生成而不是由受信任的证书颁发机构（CA）签发的证书。由于自签名证书没有通过权威的第三方机构验证，因此在使用时会出现SSL证书问题。 解决这个问题的方法之一是在命令行中运行以下命令，将安全验证关闭： git config --global http.sslVerify false 此命令将全局设置为不验证SSL证书。然而，请注意，在开发或测试环境中使用此选项时要非常小心，因为它会导致安全风险。 如果您想解决自签名证书问题，可以考虑以下解决方案： 1. 转换为使用受信任的第三方证书：获取并安装由受信任的证书颁发机构签发的证书，以替换自签名证书。 2. 在本地开发环境中安装自签名证书：根据您使用的服务器和开发环境，下载自签名证书并按照相应的指示将其安装到本地开发环境中。 3. 配置忽略自签名证书验证：在开发或测试环境中，您可以配置相关的工具或库以忽略对自签名证书的验证，但请记住这可能会引入安全风险。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 100
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值