《论文阅读》Learning multiview 3D point cloud registration

最新推荐文章于 2023-04-25 22:58:44 发布
最新推荐文章于 2023-04-25 22:58:44 发布
阅读量2.7k 收藏 11
点赞数 4
分类专栏： 深度学习 计算机视觉 文章标签： 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/109190252
版权

留个笔记自用

Learning multiview 3D point cloud registration

做什么

首先先得理解点云是什么
点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。在这里插入图片描述
一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样
在这里插入图片描述

做了什么

在这里插入图片描述
3D point cloud registration，3D点云配准，简单来说就是有一组潜在重叠的3D点云，这组数据可以理解成分别覆盖环境的一小部分也就是局部区域，将这一组作为输入，用其创造输出一个全局的点云图作为整体表示
首先先是定义输入，定义一个有潜在覆盖的点云集合S
在这里插入图片描述
目的是为了得到一个完整的扫描全局结果，这里是想对每个点云集都得到一个转换矩阵
在这里插入图片描述
这里文中没有解释SE(3)是什么，于是一脸懵逼地上网查
在这里插入图片描述
也就是R是旋转矩阵，t是三维的位移向量
然后S可以通过联系构建一张图G
每个顶点代表一个点集，边Si,j包含了Ri,j和ti,j即两个点转换矩阵中的旋转角度信息和距离信息。边之间需要满足约束
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这些意思大致均是为了保证i,j和j,i的方向相反性，并且满足旋转矩阵和方向向量的同积性
然后就是具体的Pairwise registration of point clouds也就是点云配准方法
在这里插入图片描述
首先是成对匹配，从点云集S中取出两个不同的点云集P和Q，两者的维度分别是NP×3即NP个点和NQ×3。就像上面说的，配准的最终目标就是得到两者之间的关系矩阵Ri,j和位移向量ti,j使两张图尽可能地重合
在这里插入图片描述
φ(p, Q)是一个映射函数，将点云集P中的点p映射至点云集Q中。wl是假定对应的权重，即
在这里插入图片描述
以上是二图配准的方式，这个式子可以理解为Ri,j和ti,j作用于点p（旋转+平移后）和映射点之间的距离，目的就是使这个距离最小，保证两者配准度最好
接下来回到多视图配准，将旋转和平移拆开来
在这里插入图片描述
在这里插入图片描述
这里的意思就是说在二者配准的基础上，对每个点云集Si均计算最小化它的旋转R和平移t。上面这种方法适合迭代实现，这里又称为IRLS算法
在这里插入图片描述
在这里插入图片描述
这里的意思就使对于第k次迭代，就可以根据Mi,j对点云集Q进行改变。另外先前迭代比如k-1次中的参数w和残差r可以作为下一次函数中的加权信息
在这里插入图片描述
在这里插入图片描述
这里的大概意思就是说，迭代式进行下去每一步的权重会影响下一步的对应函数。

怎么做

在这里插入图片描述
这里就是整个网络的具体结构，也是对上面各种在这里插入图片描述
函数的解释
首先是输入，多个点云集和
在这里插入图片描述
首先是映射函数φ，这里用到了Fully_convolutional_geometric_features（FCGF)在这里插入图片描述
来获取它的点云集特征
假设FP是点云集P经过FCGF encode的结果，FQ则是Q encode的结果
然后在这个高维特征中，利用最近邻来建立逐点的映射函数φ
在这里插入图片描述
这里引入了一个规则s来引入概率
在这里插入图片描述
fp是点p经过encode的结果，t是一个控制变量，当t趋于0的时候，φ趋近于确定性最近邻搜索
然后定义一个训练的方法在这里插入图片描述
这里用到了对抗学习的方法，P是一组随机抽取的小批量数据中的正对，mn和mp均为margin也就是间隔
然后是加强提出了一个配准网络，创造了一个block在这里插入图片描述
将对应关系作为输入，输出权重
在这里插入图片描述
然后像上面所说的迭代式跟进将w(k)定义为
在这里插入图片描述
也就是这么一个iterate的过程
在这里插入图片描述
这里的LOSS由两个组成
在这里插入图片描述
Lclass就是普通的cross entropy
在这里插入图片描述
这个LOSS用于惩罚与GT之间转换参数Mi,j的差距
在这里插入图片描述
然后是对于图G的，得到了Mi,j后，其中的边encode一个置信度ci,j，这里包括了两个部分，一个是从转换估计中导出的clocal和转换同步中导出的cglobal即一个是上面的transformation estimation，一个是 transformation synchronization
在这里插入图片描述
这里的Xconf（大写）代表的是f函数的倒数第二层的输出结果，即registration块的倒数第二层
在这里插入图片描述
这里的δij是全局特征和内联因子的比率，即是一个参数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最后就可以定义ci,j为
在这里插入图片描述
总的来说，这里的置信度就等于说是对每张图至最终结果的attention
最后又定义了一个loss在这里插入图片描述
在这里插入图片描述

总结

1.不知道是我理解问题还是论文问题，这篇论文绝对是最难理解的，没有之一，感觉没有什么逻辑性读下来。看完一遍感觉头昏脑胀，还是完全不理解，只能理解大体思路。有空得看看这篇的代码，因为我感觉这个应用还是比较有趣的

未知丶丶
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
CVPR2020：训练多视图三维点云配准
吴建明wujianming_110117
06-29 1699
CVPR2020：训练多视图三维点云配准 Learning Multiview 3D Point Cloud Registration 源代码和预训练模型：https://github.com/zgojcic/3D_multiview_reg 论文地址： https://openaccess.thecvf.com/content_CVPR_2020/papers/Gojcic_Learning_Multiview_3D_Point_Cloud_Registration_CVPR_2020_paper.pdf
Learning multiview 3D point cloud registration 论文学习总结
qq_41098991的博客
06-04 505
Learning multiview 3D point cloud registration 论文学习总结 一、存在问题 作者在论文中提到点云的匹配时会存在 1）相邻点云的低重叠会导致不精确或错误的匹配效果 2）点云在匹配时非常依赖于局部环境，如果三维场景中的点云非常稀疏或有重复，会导致有不好的匹配结果 3）为了将成对点云进行全局化，需要一个单独的后处理。然而这个单独的后处理存在很多由噪声引起的显著偏差。 为此，作者提出了一个端到端训练的，将成对匹配和全局处理相结合的算法。 二、创新点 1）端到端 2）提出
PCL中的点云配准（Registration）ICP算法
热门推荐
wokaowokaowokao12345的专栏
06-26 7万+
引言给定两个来自不同坐标系的三维数据点集，找到两个点集空间的变换关系，使得两个点集能统一到同一坐标系统中，即配准过程。配准的目标是在全局坐标框架中找到单独获取的视图的相对位置和方向，使得它们之间的相交区域完全重叠。对于从不同视图（views）获取的每一组点云数据，需要一个能够将它们对齐在一起的单一点云模型，从而可以应用后续处理步骤，如分割和对象重构。 这篇博文就基于PCL中的ICP算法，实现不同视
3D视频编码标准(Multiview Video Coding)
03-18
3D视频编码标准(Multiview Video Coding), 该草案还在研讨中，但是已经是第八稿了。估计很快会出台最终版本。随着3D电视、电影的普及，正式标准的出台也会加速。
用matlab对图像进行频谱分析代码-multiview_learning:multiview_learning
05-19
用matlab对图像进行频谱分析代码带代码的多视图学习方法 A部分：带有代码的通用多视图方法 1.基于NMF（非负矩阵分解）的方法 NMF factorizes the non-negative data matrix into two non-negative matrices. 1.1通过深度矩阵分解的AAAI17多视图聚类 深度矩阵分解是NMF的变体。 1.2使用图正则化NMF的ICPR16部分多视图聚类 1.3通过带有局部流形正则化的概念分解实现ICDM16多视图聚类 概念分解是NMF的一种变体。 1.4 TC19基于个性和共性的多视图多标签学习 1.5 AAAI14部分多视图聚类 1.6使用多视图数据的TNNLS15部分共享潜在因子学习 1.7通过联合非负矩阵分解实现S18多视点判别学习 1.8通过联合非负矩阵分解实现ICDM13多视图聚类 1.9 KBS20非正交矩阵分解与共正交约束的多视图聚类 1.10 KBS20半监督多视图聚类，带有图规则化的部分共享非负矩阵分解 1.11用于多视图聚类的NC18自适应结构概念分解 概念分解是NMF的一种变体。 1.12 ICDE20一
Reconstructing Perceived Images From Human Brain Activities With Bayesian Deep Multiview Learning
02-08
A top story of the MIT Technology Review reviewed our work on May 6, 2017; CAS News and Daily Mail reported our work.本研究初步工作发表在OHBM 2017年会, oral presentation, acceptance rate = 3%，并获麻省理工科技评论、中科院官网、英国每日邮报等报道，后经拓展，完整工作在TNNLS发表
Bundle Adjustment Constrained Smoothing For Multi-View Point Cloud Data
03-20
Bundle Adjustment Constrained Smoothing For Multi-View Point Cloud Data
点云配准算法
人无远虑，必有近忧
12-08 6199
点云配准（Point Cloud Registration）算法指的是输入两幅点云 Ps (source) 和 Pt (target)，输出一个变换T（即旋转R和平移t）使得 T(Ps)和Pt的重合程度尽可能高。常用的有NDT、ICP。本文主要介绍ICP（Iterative Closest Point）算法及其各种变体。 点云配准首先要知道两组点云的匹配关系，对于视觉三维点来说，可以通过视觉特征匹配来获取，对于雷达点云，可以通过最近邻匹配来获取，关于匹配本文不深入介绍。 知道点云的匹配关系后，通过粗配准
（11）点云数据处理学习——Colored point cloud registration（彩色点注册）
chencaw的专栏
12-04 1162
dd
Joker微服务1.0.3-SNAPSHOT
05-21
一个基于vert.x的类似tomcat的微服务容器，实现服务的热插拔，相比spring更加的轻量级。 Joker支持 混合java和js部署了，Joker支持集群部署了
点云中的Minkowski卷积
zhulf0804的博客
11-21 5374
一、MinkowskiEngine简介 第一次见到MinkowskiEngine，应该是在两个月之前了，当时也没有去留意这个库。最近读了一些点云的论文，发现还是有不少论文的源码是基于MinkowskiEngine的，包括PointContrast(ECCV 2020)，DGR(Deep Global Registration, CVPR 2020)，Learning Multiview 3D Point Cloud Registration(CVPR 2020)和FCGF(Fully Convolution
CVPR 2020 3D点云 Point Cloud 文章汇总
成长的竹
06-19 7027
点云文章列表 近年来，对于点云处理的研究越来越火热。Github上面有一个工程，汇总了从2017年以来各大会议上点云论文，awesome-point-cloud-analysis ,但尚未包括刚刚release的CVPR2020中的点云论文。 本文主要整理CVPR2020中的点云相关论文，总共70多篇，供大家查阅，后期还会持续更新文章分类和解读。 欢迎来到点云世界。 CVPR2020 点云文章汇总 Upgrading Optical Flow to 3D Scene Flow Through Optica
《论文阅读01》Learning multiview 3D point cloud registration
darren_pty
04-25 137
slam
点云配准_各类ICP介及特征配准流程介绍
惊鸿一博
01-06 4724
基本概念 点云配准是什么，维基百科上这样介绍： Pointcloudregistration,istheprocessoffindingaspatialtransformationthatalignstwopointclouds. Thepurposeistomergepointcloudsofmultipleviewsintoagloballyconsistentmodel. 在我的理解，有两个点集，source和target，targe...
【无标题】point cloud registration 点云配准
HJQD777的博客
06-21 342
点云配准
Learning Multiview 3D point Cloud Registration论文阅读笔记
Codefmeister's BLOG
01-16 1393
Learning multiview 3D point cloud registration Abstract 提出了一种全新的，端到端的，可学习的多视角三维点云配准算法。 多视角配准往往需要两个阶段：第一个阶段进行初始化配准，给定点云各帧之间两两的初始化刚体变换关系；第二个阶段在全局意义上进行不断精细化处理。前者往往由于点云之间的低重叠率，对称性，或者重复的场景片段而导致配准精度较差。因此，紧随其后的全局优化（Global Refinement）的目标就是在多个点云帧中建立一种循环一致性(cyclic c
PCL学习笔记二：Registration (ICP算法)
TODAY WAS A GOOD DAY
05-17 6万+
PCL Registration API Registration：不断调整，把不同角度的3D点数据整合到一个完整的模型中。 它的目的在于在一个全局坐标系下找到不同视角的定位与定向（两个视角交叉部分重叠完好为最优）。这就是KinectFusion论文中所提到的ICP（ Iterative Closest Point ）算法。给定输入数据集，首先做一个估计，然后通过旋转和平移变换一个数据集，找到
论文速递：带重力约束的点云配准（Gravity-constrained point cloud registration）
qq_41050642的博客
12-12 670
视觉和激光SLAM算法从IMU中获益良多。高频率的IMU数据弥补了低频的传感器数据。除此之外，可以从重力向量中获取三自由度姿态中的两个。在视觉里程计中，IMU已经被用来将6自由度位姿估计转换为4自由度。在lidar SLAM中，重力测量在后端优化中经常被用来作为惩罚项来防止地图变形。在这篇文章中，我们提出了一种基于迭代最近点(ICP)的前端方法，其利用了重力向量提供的旋转可观自由度，并且提供了与重力向量对齐的位姿估计。我们相信这个方法可以支持回环检测，从而加速全局地图的优化。所提出的方法在DARPA比
contrastive multiview coding
最新发布
06-28
### 回答1： 对比多视角编码（Contrastive Multiview Coding）是一种用于自监督学习的方法，它通过对同一样本的不同视角进行编码，来学习样本的特征表示。该方法可以在无需标注数据的情况下，从大量未标注的数据中学习到有用的特征表示，从而提高模型的泛化能力和性能。 ### 回答2： 对比多视图编码（Contrastive Multiview Coding， CMC）是一种新兴的自监督学习方法，是一种利用多个视角来学习数据特征的方法。相比于从传统的数据集中学习高级特征来说，CMC的作用在于通过理解不同数据视图之间的关系来代替手工标注或人为制造标签。 CMC方法将多个视角数据（例如从不同角度或时间拍摄的图像）随机组合进行研究，以便能够更好地训练出模型。这种方法的优点在于，它能够学习具有普适性的判别性特征，同时保留训练数据的复杂性。这意味着CMC方法在不依赖于大量标签数据的情况下，仍能够有效提供有用的表示特征。 CMC从理论上只需要一个loss function来完成整个模型的训练，这一点使它成为自监督学习中的热门方法之一。 它在应用中的一个重要应用是在计算机视觉领域，如图像分类、物体检测和语义分割等方面。它已经在许多计算机视觉任务中表现优异。 总之，对比多视图编码是一种适用于多视图学习的先进方法，因为它在利用不同视图之间的相似性来训练模型时非常有效，因此被广泛应用于计算机视觉领域。 ### 回答3： 对比多视图编码（Contrastive Multiview Coding，CMC）是一种新的自监督表示学习方法。它利用多视图（多角度、多尺度、多剪裁的）数据来学习特征表达，从而生成可区分、可重用的低维嵌入。该方法通常用于解决少标注数据问题，因为不像监督学习方法，它不需要标注在先。 CMC的核心思想是，使用互相独立的视角（通常指从不同的角度、尺度、或者剪裁方式上观察同一物体）来捕捉不同的特征信息，并学习如何将这些视角下的不同的低维特征嵌入到同一空间中。通过学习如何将这些特征的嵌入对样本之间的差异进行建模，在同一视角之外的样本之间也能够建立起有意义的对比关系。 具体的训练过程中，CMC通过分别对每个视角进行编码操作，为每个视角得到一个低维的特征表示，然后以最大化互相对比度的方式优化这些特征表达，让同一样本在不同视角下产生的嵌入向量更加接近，不同样本之间的嵌入向量相对较远，以此达到更好的分类效果。 总体而言，CMC具有可拓展性、半监督、不受领域限制等多样的特点，可以为许多计算机视觉任务提供有用的特征表示。此外，由于CMC利用无监督的自我学习机制，因此可以在无监督的情况下使用大规模数据，可以应用于数据集较少的任务中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值