Multiview LM-ICP 配准算法

        Multiview LM-ICP 配准算法针对一些大型的物体(比如建筑物)或者需要精细化建模的物体(比如某个文物),仅仅进行成对的配准难以还原物体的全貌和细节。所以,多个视角的配准十分关键。 多视角的配准存在以下两个问题:a)配准误差的累积。b)整个配准流程的自动化程度不够。

本方法首先采用构建“显著性图”的方法来提取关键点,主要包括以下三个步骤: (a)对配准模型多尺度的表示。通过在网格数据M上应用N个高斯滤波器来获得N个多维滤波的映射{Fi},i=1,...,N。 在原论文中,设置了6个滤波尺度,对应于标准差             8f0a0092ea764d5aa60d11f6c6aa69fe.png                                  。其中, 191476f4f5cb437893c27e77115c90f5.png    的值为该模型外包围盒的主对角线长度的0.1%。可以把不同尺度的   7e0c99c08ae44d759f1115385c1420be.png   投影到点的法线上。得到多尺度表示的图像  011aae4eece745eb8c1e2a26c5eb5e9d.png     (b) 利用上面得到的多尺度表示的图像来定义3D显著性度量。将上述图像归一化到一个固定的范围后,在归一化的图像中找到全局最大值t,再和所有其它局部极大值并计算出平均值  76c86f9e20dd45d4ae27cb29024e10ab.png  。最后,将归一化图像中的所有值都乘以        8e1d7853191d4d13a31cabe2fad52022.png        得到归一化的多尺度表示图像    5c7689b6044941a59e7fd07549222dbd.png   。将每个尺度的图像相加便可以得到“显著性图像”。 (c) 获取关键点,得到的关键点是显著性图像中的极大值。

2b588784e7b043efa280b3c9161f066a.png

        得到每个视图的关键点以及对关键点进行特征描述(这里的方法是spine-image)之后,要先进行成对的视图配准。其步骤如下: (a)选取一定数量的关键点作为初步估计所用的数据 (b)采用一种“投票”的策略来匹配不同视图中的关键点。在特征空间中,建立一个2D的直方图H来统计两两视图之间匹配的点的数目。如图,其中,V1-V4为视图的编号。后续每个视图可以只与其它m个视图进行两两配准,而这m个视图正是直方图H中每列匹配的点的数目最多(即得票数最多)的m个视图。 (c)利用MSAC的方法计算视图对之间的刚性变换。

        全局配准包括两个阶段:首先是通过结合前面得到的成对刚性变换来生成全局对齐;然后,通过一个同时考虑所有视图的多视图配准来精细化这种初始的全局对齐。 生成全局对齐的步骤如下: (a)区分出所有点集中的内部点(inliers)和离群点(outliers)构造视图间的权重矩阵。视图i和视图j在权重矩阵中对应的权重W(i,j)表示其内部点(inliers)占总点数的分数。 (b)构造图结构,每个视图都是一个结点,权重矩阵W作为该图结构的邻接矩阵。 (c)选择任意视图作为对齐的参考视图r,设置全局的参考坐标系。 (d)对每个视图i,其与参考视图r对齐的变换是沿着图中i到r的最短加权路径通过链式变换来计算的

130ffdee2cb1471286ca2b4cb3973ace.png

设V1,V2....,Vn为需要对齐的一组视图,则Multiview LM-ICP的优化流程如下: (a)构造邻接矩阵A,如果视图h可以被配准到视图k,则h和k被视为“视图对”,则A(h,k)为1,否则为0。 (b)设a1,...,an为每个视图变换到全局参考坐标系的刚性变换参数向量,则数据视图h和模型视图k之间的对齐误差可以定义为:8ba43b6e6a6d45849a644e79a1ab24a3.png

(c)根据步骤(b)中的误差函数可知,总体对齐误差是通过累积重叠视图集合中每一个对视图的误差来定义的。其误差方程如下:cd900235a84b471e897f4e534641eb21.png

如图所示,上述误差方程的雅各比矩阵J是一个包含q*n(q代表视图对的数量,n为视图的总数)块(block)的稀疏矩阵

faf09703d4014e79a5c4d3c541ab5db9.png

b1843ac76376478ab8b1c1d336810ac6.png

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 对比多视角编码(Contrastive Multiview Coding)是一种用于自监督学习的方法,它通过对同一样本的不同视角进行编码,来学习样本的特征表示。该方法可以在无需标注数据的情况下,从大量未标注的数据中学习到有用的特征表示,从而提高模型的泛化能力和性能。 ### 回答2: 对比多视图编码(Contrastive Multiview Coding, CMC)是一种新兴的自监督学习方法,是一种利用多个视角来学习数据特征的方法。相比于从传统的数据集中学习高级特征来说,CMC的作用在于通过理解不同数据视图之间的关系来代替手工标注或人为制造标签。 CMC方法将多个视角数据(例如从不同角度或时间拍摄的图像)随机组合进行研究,以便能够更好地训练出模型。这种方法的优点在于,它能够学习具有普适性的判别性特征,同时保留训练数据的复杂性。这意味着CMC方法在不依赖于大量标签数据的情况下,仍能够有效提供有用的表示特征。 CMC从理论上只需要一个loss function来完成整个模型的训练,这一点使它成为自监督学习中的热门方法之一。 它在应用中的一个重要应用是在计算机视觉领域,如图像分类、物体检测和语义分割等方面。它已经在许多计算机视觉任务中表现优异。 总之,对比多视图编码是一种适用于多视图学习的先进方法,因为它在利用不同视图之间的相似性来训练模型时非常有效,因此被广泛应用于计算机视觉领域。 ### 回答3: 对比多视图编码(Contrastive Multiview Coding,CMC)是一种新的自监督表示学习方法。它利用多视图(多角度、多尺度、多剪裁的)数据来学习特征表达,从而生成可区分、可重用的低维嵌入。该方法通常用于解决少标注数据问题,因为不像监督学习方法,它不需要标注在先。 CMC的核心思想是,使用互相独立的视角(通常指从不同的角度、尺度、或者剪裁方式上观察同一物体)来捕捉不同的特征信息,并学习如何将这些视角下的不同的低维特征嵌入到同一空间中。通过学习如何将这些特征的嵌入对样本之间的差异进行建模,在同一视角之外的样本之间也能够建立起有意义的对比关系。 具体的训练过程中,CMC通过分别对每个视角进行编码操作,为每个视角得到一个低维的特征表示,然后以最大化互相对比度的方式优化这些特征表达,让同一样本在不同视角下产生的嵌入向量更加接近,不同样本之间的嵌入向量相对较远,以此达到更好的分类效果。 总体而言,CMC具有可拓展性、半监督、不受领域限制等多样的特点,可以为许多计算机视觉任务提供有用的特征表示。此外,由于CMC利用无监督的自我学习机制,因此可以在无监督的情况下使用大规模数据,可以应用于数据集较少的任务中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

江山如画,佳人北望

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值