Deepfit: 通过神经网络加权最小二乘法进行3D表面拟合

最新推荐文章于 2024-03-04 09:58:16 发布

3Ｄ视觉工坊

最新推荐文章于 2024-03-04 09:58:16 发布

阅读量2.5k

点赞数 1

文章标签：算法人工智能深度学习机器学习计算机视觉

原文链接：https://arxiv.org/abs/2003.10826

版权

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

标题：DeepFit: 3D Surface Fitting via Neural Network Weighted Least Squares

作者：Yizhak Ben-Shabat, Stephen Gould

来源：ECCV 2020

编译：王宇杰

审核：lionheart

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

我们提出了一种用于非结构化3D点云的表面拟合方法。这种称为DeepFit的方法结合了神经网络，以学习加权最小二乘多项式曲面拟合的逐点权重。学习的权重充当表面点附近的软选择，因此避免了先前方法所需的尺度选择。为了训练网络，我们提出了一种新颖的表面一致性损失，可以改善点权重估计。该方法可以提取法向矢量和其他几何特性，例如主曲率，而在训练过程中不会把其他几何特性的真实值标签加入训练。我们在基准法线和曲率估计数据集上获得了最新的结果，展示了对噪声，异常值和密度变化的鲁棒性，并展示了其在噪声去除中的应用。

主要贡献

1）提出了一种使用深度神经网络进行加权最小二乘拟合的逐点权重估计的方法；

2）提出了一种用于鲁棒曲面拟合和法线估计且无须尺度估计的方法；

3）提出了一种无需使用真实值标签进行主曲率和几何特性估计的方法。

算法结构

给定3D点云S和查询点qi∈S，我们首先使用k个最近邻提取点Si的局部子集。然后，我们使用神经网络来估计邻域中每个点的权重，随后将其用于加权最小二乘曲面拟合。具体来说，我们将Si馈入PointNet 网络，该网络输出全局点云表示形式G（Si）。另外，我们从中间层分别为每个点pj∈Si提取局部表示，以给出g（pj）。然后将这些表示连接起来，并馈入多层感知器h（·），然后再输入sigmoid激活函数，从而将输出值限制在0到1之间。此网络的输出是每点的权重，用于构造对角点权重矩阵W = diag（wj），其中

为了增强数值稳定性，我们添加一个恒定的小ε，以避免矩阵为零或退化情况。然后，使用该权重矩阵来解决等式的加权最小二乘(WLS)问题，从而近似得到n-jets表面拟合的系数β。网络的所有部分都是可微分的，因此需要进行端到端的训练。

图1：DeepFit用于法向和主曲率估算的流程。对于给定点云中的每个点，我们计算全局表示和局部表示并估计逐点权重。然后，我们通过求解加权最小二乘问题来拟合n-jet表面。

给定n-jets的系数β，我们可以轻松地提取几个其他的几何量：例如法线估计，形状算子和主曲率。对于二阶信息，我们通过将第一基本形式和第二基本形式的逆相乘来计算表面的Weingarten map。其特征值是主曲率（k1，k2），其特征向量是主方向。计算是在与参数化关联的切线空间中完成的。

为了学习逐点权重，我们引入了局部一致性损失Lcon。该损失由两个项组成，加权正态差分项和正则项。加权法线差项计算每个局部邻域点的法线真实值和估计值之间的角度正弦值的加权平均值。这些法线是通过将n-jets转换为F（x，y，z）= 0的隐式曲面形式来分析计算得到的。

主要结果

比较DeepFit方法与经典几何方法的无方向法向矢量估计的RMSE角度误差（PCA 和Jet -三种尺度（小，中，大），分别对应于k = 18、122、450）的比较，和深度学习方法（PCPNet ，Lenssen等人的方法和Nesti-Net ）

（a）DeepFit对不同噪声水平（第1-4列）和密度干扰（第5-6列）的法线估计结果。点的颜色是映射到RGB的法线向量。（b）对于三种类型的无噪声点云，DeepFit与其他方法相比，法线估计误差的可视化结果。点的颜色对应于角度差，映射到0-60度范围内的热图。

DeepFit逐点权重预测。不同n-jets表面拟合的三个视图。这些点的颜色对应于权重大小，并映射到从0到1的热图；请参见右侧的颜色栏，即红色点对拟合的影响很大，而蓝色点对拟合的影响很小。

DeepFit的消融实验：法线估计的RMSE结果，分别用于（a）无噪声和（b）高噪声增强情况下，并比较相邻点数量和jet顺序的影响。

曲率估计结果可视化。点的颜色对应于k1，k2到右下角给出的颜色图的映射。

我们的DeepFit方法与具有三个尺度的经典Jet 方法和PCPNet 方法的比较，针对（左）最大（k1）和（右）最小（k2）主曲率估计的归一化RMSE。

DeepFit与PCPNet的曲率估计误差结果。每个点云下的数字是其归一化RMSE误差，格式为（k1，k2）。颜色对应于映射到热图（范围为0-5）的误差向量的L2范数。

DeepFit在随后的两个应用中的性能：（a）使用经典Jet拟合方法和本文提出的的DeepFit方法对于法向矢量估计，从而重构泊松曲面。（b）使用DeepFit预测的权重进行去噪的结果。

Abstract

We propose a surface fitting method for unstructured 3D point clouds. This method, called DeepFit, incorporates a neural network to learn point-wise weights for weighted least squares polynomial surface fitting. The learned weights act as a soft selection for the neighborhood of surface points thus avoiding the scale selection required of previous methods. To train the network we propose a novel surface consistency loss that improves point weight estimation. The method enables extracting normal vectors and other geometrical properties, such as principal curvatures, the latter were not presented as ground truth during training. We achieve state-of-the-art results on a benchmark normal and curvature estimation dataset, demonstrate robustness to noise, outliers and density variations, and show its application on noise removal.

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。