3D Brain Reconstruction by HierarchicalShape-Perception Network from a SingleIncomplete Image

摘要

三维形状重建对于手术环境间接而狭窄的微创手术和自动机器人引导手术的导航至关重要。 然而,术中突发事件(如出血)和风险控制条件造成的信息缺乏和不完整问题尚未得到考虑。本文提出了一种新颖的分层形状感知网络(HSPN),以较低的延迟从单个不完整图像重建特定大脑的三维点云(PC)。我们构建了一个分支预测器和多个分层注意力管道,以生成能准确描述不完整图像的点云,然后高质量地完成这些点云。同时,设计了注意力门块 (AGB),以有效聚合分层注意力管道传输的不完整 PC 的几何局部特征和重建点云的内部特征。利用所提出的 HSPN,可以自发地实现三维形状感知和完成。通过倒角距离和 PC 到 PC 误差测量的综合结果表明,所提出的 HSPN 在定性显示、定量实验和分类评估方面的性能均优于其他竞争方法。

关键词

 Shape reconstruction, hierarchical shape perception, attention gate block, point cloud.

1. Introduction

微创和自动机器人引导手术已逐渐应用于脑外科手术,为患者带来更小的手术伤口,更短的恢复时间,更好的治疗体验。由于这些手术具有新的视觉环境和导航方式,对术中信息的获取能力提出了新的要求。由于医生在手术过程中不能直接观察病变和手术目标,他们的经验往往不那么有效。近年来,术中MRI (iMRI)的应用越来越广泛,一些研究利用它来缓解微创手术中较为严格的视觉限制[1]、[2]。但与大脑内部丰富的细节不同,二维核磁共振成像无法提供直观的、视觉上可接受的目标大脑表面和形状信息,而这对手术更为重要。由于直接计算三维核磁共振成像的空间复杂度为 O(n 3 ),因此在需要实时算法的操作中也不宜用它来感知目标大脑的形状。此外,由于三维核磁共振成像表示法无法直接与大脑的坐标位置相关联,医生必须手动辅助手术导航,从而降低了手术导航系统的自动化程度。这两点共同造成了脑部微创手术和自动机器人引导手术视觉支持的匮乏。因此,寻找一些精确、可控的间接三维形状信息获取方法是这类手术的必要发展方向。此外,由于传统扫描仪和医疗环境的限制,这些方法应减少对物理设备的依赖和对传统信息的要求。

有一些研究侧重于从图像中重建三维形状[3]、[4],以帮助医生获得额外的视觉信息。PC 被用作重建结果的表示。点云表示为三维空间中的一组点,用 N 个顶点来描述目标。除了提供精确的目标形状外,PC 表示法还包含每个点的局部位置坐标信息,可用于医疗机器人和设备的自动导航。因此,在脑外科场景中继续选择 PC 作为重建表示是一个合理的建议。然而,大多数现有方法都存在以下两个问题中的至少一个。首先,它们忽视了用于形状重建的图像通常是不完整的,并且受到光学传感设备的光环境和手术计划之外各种可能的视觉污染(如局部出血)的限制。其次,它们对输入图像的数量和角度要求过于严格。输入过多的重建方法可能会导致处理时间延长,从而增加术中意外的风险。迄今为止,还没有人致力于在三维点云重建中同时解决这两个现有问题,同时保证精度。本文的主要目的是找到一种方法,能从尽可能多的输入数据中感知并重建目标的形状。

为了从单幅不完整图像中重建出准确完整的 PC 结构,本文提出了一种基于生成对抗架构和多层编码器-解码器结构的新型复合模型,命名为分层形状感知网络(HSPN),以高效完成三维形状重建任务,尽可能满足脑外科手术场景的特定需求。HSPN 的编码器由一个基于生成对抗网络(GAN)架构的预测器和多个 PointNet++ [5] 编码块组成,而解码器则由多层解码块组成。在相应的编码块和解码块之间构建了可传输提取的特征信息的分层注意力管道。预测器中内置了一个包含多个图卷积网络的新型分支生成器,可从单个不完整图像中准确生成不完整点云。编码块及其相应的结构一致性解码块可分层感知目标的形状,重建完整的点云,并确保不同的重建级别都能以相应的形状结构为指导。此外,还设计了一个名为注意力门块(AGB)的新模块,将分层注意力流水线传输的局部编码特征的注意力计算与重构自注意力计算统一起来。

本文的主要贡献可概括如下:

1) 提出了分层形状感知网络,以完成受限手术视觉环境下的三维形状重建任务。这是首个从单个不完整磁共振成像图像重建完整大脑点云的工作。所提出的模型设计了多种机制,以确保对三维形状的准确感知。

2) 采用对抗预测器重建不完整的点云,以尽可能描述图像细节。通过分支图卷积网络(GCN)构建的新型生成器可描述复杂的大脑微观结构。

3) 设计了一个逐级编码和解码系统,以准确感知目标大脑受试者的形状并还原不完整的点云。构建了分层注意力管道,将每层编码器汇总的局部几何特征传输到相应的解码块。AGB 的设计旨在统一 HSPN 中的注意力计算过程。

2. Related Work

近年来,机器学习和深度学习技术在医学图像处理中得到了普及,并已应用于成熟度识别[6]-[11]、疾病分析[12]-[14]、跨模态数据补充[15]-[17]、图像分割[18]等领域。许多深度学习重建模型,如 GANs [19]-[24] 和变分法 [25]-[28] 等,被广泛用于重建二维图像。还有许多作品将这些方法与三维数据相结合[29]-[32]。三维形状分析是近年来一个活跃的研究领域[5], [33]-[37],这些研究产生了许多分支。例如,三维分类和识别方法[38]、[39]利用三维形状的特性,消除传统分类任务中的感知限制,提高算法效率;三维重建方法[31]、[40]-[42]从各个源域还原目标的三维结构,为研究者提供多视角信息;从基于几何[43]-[45]和基于配准[46]-[48]的角度,三维补全方法探索补全不完整三维结构的算法框架。我们的方法由多个框架组成,以完成复杂的三维互补形状重建任务。与这些框架相关的工作可根据输入和输出形式进一步分类。

2.1. 点云生成

三维图形的表征学习是一个特定的研究方向。该方向倾向于以构建良好的点云数据集为基础,通过尽可能接近地重建输入数据来开展指示性或扩展性研究。在这一领域,[49] 提出了一种自动编码器模型来折叠和恢复点云,然后通过与其他模型还原结果的分类实验证明了该方法的有效性。[50]提出了一种变分自动编码器模型来生成近似点云结果,然后将其应用于断裂检测和分类。[51]-[53]提出了不同的 GAN 架构来学习从高斯分布到多类点云表示的映射,从而以无监督的方式重建点云。

2.2. 图像到 PC 的重构

随着医学成像领域的发展,图像到三维形状转换的需求不断增长。受益于医疗工具的迭代,三维数据在位置信息、感知信息和视觉可接受性等方面相对于传统图像的优势日益受到关注。根据有限的图像数据和点云地面实况,[54] 提出了一种名为 "几何对抗损失 "的新损失函数,以重建更符合图像整体形状的点云表示。文献[55]提出了一种由编码器和预测器组成的深度神经网络模型。该模型被命名为 PointOutNet,可从单张 RGB 图像预测三维点云形状。在此基础上,[3] 将该模型应用于单级形状实例化,从单张 2D MRI 图像重建右心室点云,从而简化了 [4] 提出的两级方法。

2.3. 点云完成

三维点云形状补全是一个相对复杂的领域。然而,由于大量三维数据面临不完整和损坏的问题,该领域的研究也在蓬勃发展。基于 PointNet [38] 和 PointNet++ [5];PCN [56]、FoldingNet [49]、AtlasNet [57]设计了不同的编码器-解码器结构来提取全局的点云形状并还原完整的点云。文献[58]中提出了一种名为 TopNet 的树状结构网络,用于生成任意结构的点云,而无需明确执行特定的结构。

3. Method

拟议 HSPN 的总体结构如图 1 所示。HSPN 由一个编码器(其中有一个预测器和多个编码块)和一个相应的解码器组成。考虑到模块输入和输出的差异,我们设计了统一的信息流与相邻模块进行通信,并建立了独立的分层注意力管道,在相应的编码块和解码块之间传输局部注意力特征。

图 1. 拟议模型的结构。粉红色区域为编码器网络,由一个预测器和三个基于 PointNet++ 的编码块组成。除了将提取的特征输出到下一个区块外,前两个编码区块还通过注意力管道将特征反馈到相应的解码区块。绿色区域代表解码器网络。解码区块的详细结构也在蓝色区域中给出。

3.1. 带分层编码器和解码器的 AE 架构

1) 编码器: 一般来说,通用 AE 框架旨在学习一个生成模型,其中编码器汇总相应的特征表示来描述低维生成因子。因此,该表征可被视为捕捉输入必要细节的信息流。然而,由于图像输入和点云输出的分布差异太大,标准 AE 的架构并不适合这项任务。完成任务需要编码器为解码器提供更多补充信息。直接映射转换会导致不同领域的样式混淆,并丢失生成细节,这对于医学点云生成来说是无法容忍的。作为基本要求,编码器需要具备将给定的图像输入尽可能还原、转换成点云的能力。然后用适当的表示方法描述其特征。

为了满足这种需求,我们的编码器设计成一个特殊的架构,由预测器和多层特征提取块组成。如图 1 所示,对抗预测器大致采用 GAN 框架,输出的点云 YN×3 可以准确表示目标大脑(在本作品中,N = 2048)。然后,由 PointNet++ 构成的多个区块旨在从不完整的点云中提取特征。在经过类似于 CNN 下采样的几个过程后,最后一个区块将点云聚合成一个潜在特征,该特征携带输入图像的结构信息。特别是,为了让解码器获得足够的信息来还原完整的点云部分并生成不完整的点云部分,每个区块都会通过分层注意力管道将采样特征分享给相应的解码区块。

2) 解码器:为了充分利用编码器共享的采样特征,考虑将解码器的组成网络设计为与多层编码块一一对应。在这项工作中,我们建立了分层注意力管道来共享采样特征,并在解码器中设置解码块,以便在完成点云的同时还原和生成目标的局部微观结构。我们将在接下来的章节中详细介绍。

3.2. 逆向分支 GCN 预测器

核磁共振成像图像包含丰富的结构信息。完成的第一步是由这些不完整的图像表示还原物理结构。对抗预测器旨在提取几何信息,并利用这些信息重建尽可能接近原始形状的点云。给定一个特定的大脑受试者,其点云可以用矩阵 YN×3 表示,矩阵 YN×3 表示一组 N 个点,每个行向量表示一个顶点的三维坐标。拟议的对抗预测器需要不完整的二维图像。预测器有一个 ResNet [59] 模型,用于将此类图像 IH×W 作为输入,其中 H 是图像的高度,W 是宽度。ResNet 从具有特定均值 µ 和标准偏差 σ 的高斯分布中产生向量 z 2 R 96 作为输出,预测器的生成器将其视为只有一个点的点集。生成器有一系列 GCN 块和分支块,用于扩展和调整初始点集。然后,一个类似于 WGAN-GP [60] 的判别器将输出和真实点云进行判别,然后增强生成器。

为了准确对齐点的位置以描述大脑的复杂结构,实现的生成器需要对空间形状有很强的感知能力。由于全连接层的降维操作会破坏相邻点之间潜在的联系信息,而 CNN 的效率仅限于传统的欧几里得数据,因此考虑用 GCN 来构建生成器。为了适应点云生成的特殊性,多个 GCN 块组和分支块组将大脑划分为不同的脑区,并分别生成这些区域,以增强生成细节。如图 2 所示,GCN 块定义为:

其中有三个主要部分:循环项 S l+1 i、祖先项 A l+1 i 和偏置 b l。循环项的表达式为:

旨在将点的特征传输到下一层。与传统图卷积网络中使用单一参数矩阵 W 不同,循环项使用 K 支持全连接层 F l K 来表示更精确的分布。F l K 有 K 个节点(p l i;1 ; pl i;2 ; ::; pl i;k),可确保大图中的拟合相似性。

图 2. 预测器中生成器的详细结构。一个改进的分支图卷积网络由多个 GCN 块和分支块组构成。

祖先项允许特征从顶点的祖先传播到相应的下一个相连顶点。在传统的 GCN 中,图节点的这个项通常被命名为邻居项,它使用的是邻居的信息,而不是祖先的信息。但在这项工作中,点云是由单个矢量动态生成的,因此计算图的连通性是未知的。因此,这一项被修改为:

以确保结构信息得到继承,并生成多种类型的点云。A(p l i ) 是特定点 p l i 的祖先集合,这些祖先通过使用线性映射矩阵 U l j 将不同层的特征空间映射到 p l i,并将信息汇总到 p l i。

分支是一个向上取样的过程,将一个点映射到更多的点。不同的分支块使用不同的分支度(d1; d2; ::; dn)。给定一个点 p l i,分支的结果是 dl 个点。因此,分支后,点集的大小为上层的 dl 倍。通过控制度数,我们可以确保本作品中的重构输出精确到 2048 点。

为了确保重建的准确性和有效性,合理的做法是不断将点特征从根部转移到底部。分支块可以保持信息流,从而实现这一过程。分支块的目的是构建生成式图像的树形结构。从而使生成器能够保持点之间的相对位置关系,并以无监督的方式汇总地面实况中的先验形状知识。

3.3. 编码和解码块

在预测器之后,我们设置多个 PointNet++ 网络作为编码块,将点云的形状信息聚合成特征。除最后一个编码块外,其他编码块将聚合结果作为中间特征,并同时传输给下一个编码块和相应的解码块。作为生成大脑形状全局表示的模块,最后一个编码块将所有特征合并为一个潜在特征。

然后构建分层解码器,从特征中还原原始形状。解码器的每一层都是一个解码块。具体细节如图 1 所示。解码块是一个复杂的网络,以全连接层网络为骨架,集成了各种矩阵运算和注意力机制。对于前两层的解码块,我们增加了一个注意力门块,用于处理全局结构特征和采样特征的注意力组合,确保每一层的生成都集中在关键解码区域。

3.4. AGB:注意门模块

图 3. 拟议的注意力门模块的详细结构。自注意力判断将判断是否有注意力管道传输点云的局部聚合特征参与计算。如果没有,该模块将被转换为自我注意模块。

在拟议的 HSPN 架构中,有两个地方应用了注意力机制来增强网络的拟合能力。第一个应用是在编码块和相应的解码块之间。我们建立了分层注意力管道,将聚合的采样特征传递给解码器,并与上一层的输出融合。通过分层注意力管道,我们希望整个模型能更好地实现两个目的。对于由图像信息显示并由预测器还原的大脑点云的完整部分,管道应尽可能保留和转移其微观结构,并引导解码器更一致地生成这些子区域。对于因各种意外或技术限制而导致的图像缺失区域所对应的部分点云,管道和注意力处理网络应能根据对称性或相关性信息提取与完整 PC 部分相似的特征。这些特征将引导解码器完成更符合生理合理性的点云区域,以满足同一手术病例的病理特征。

第二个应用是在解码模块中。我们要求解码模块能够注意到输入中更多不同特征的偏好,从而生成点云,这样才能最大限度地利用整个生成空间,提高生成效率。因此,我们构建了自注意网络,以整合几何信息流并区分更多相似特征。

为了统一这两个注意力网络的应用,并构建一个更具通用性的整体结构,我们设置了注意力门模块,其细节如图 3 所示。AGB 接受两个输入,通过自我注意力判断是否有注意力流水线传输编码点云的局部聚集特征参与计算。当两个输入中的一个来自注意力管道时,AGB 将作为注意力网络使用,使用两个全连接层网络统一两个输入并计算注意力图。否则,AGB 将作为自注意力网络工作。给定解码器第 l 层的两个点集 P l 和 Ql 作为 AGB 的输入,AGB 首先计算每个点 p l i 2 P l 之间的注意力分数。对于任意 q l j 2 Ql,注意力分数 a l ij 的计算公式为:

其中 F l 1 和 F l 2 是不同的全连接层 T 表示矩阵的转置。考虑到中间层的计算过程,这里的 p l 和 q l 的维数不一定是三个。然后,我们根据注意力得分和点集 Ql,利用另外两个全连接层网络 F l 3 和 F l 4 更新 p l i,使 p l i 的值在几何上更加可靠。更新函数定义如下

当 P l 等于 Ql 时,AGB 就会成为一个自我关注网络,整合相似的内部特征。在 AGB 中使用多个不同的全连接层网络的目的是在不同领域(或相同领域)的特征之间建立联系。与不加入 AGB 的生成模型相比,加入 AGB 可以显著提高细节表达能力,同时还能减少生成误差,增强模型的稳定性。接下来我们将证明这一论点。

3.5. 训练中的损失函数

建议的模型由几个不同的模块组成,分别用于不同的目的。我们设计了多种损失函数,以满足复杂的要求。因为由于数据格式的特殊性,传统的损失函数无法很好地训练生成网络。倒角距离通常被用作点云生成和分析中的损失函数。给定两个点云 Y 和 Y 0,倒角距离(CD)定义为:

其中,y 和 y 0 分别是 Y 和 Y 0 中的点。我们将 ResNet 和预测器生成器的损失函数定义为:

其中,LKL 是库尔贝-莱布勒发散,λ1 和 λ2 是可变参数,Z 是编码器计算出的高斯分布。

同时,在鉴别器上使用了 [12] 提出的损耗。L2 定义为:

其中,x^ 取自真实点云和伪造点云之间的线段,R 代表真实点云分布,λgp 是加权参数。对于编码块和相应的解码块,倒易距离和另一种用于比较无序点云的置换不变度量--Earth Mover's distance (EMD) 都被用作损失函数。给定两个点云 Y 和 Y 0,Earth Mover's distance 的定义为:

其中,φ 是偏射。CD 衡量的是一个点云中的每个点到另一个点云中的最近邻点之间的距离,有助于重建点云中的点更接近地面实况中的相应位置;而 EMD 衡量的是试图将一个点云转换为另一个点云的运输问题,有助于两个点云在整个概率空间中接近。我们建立了三维联合感知损失,以确保互补网络的拟合能力。该损失可写成:

4. EXPERIMENT

图 5. 训练过程中大脑的三维重建。

4.1. 数据准备和实施细节

为了评估所提出模型的性能,我们在内部数据集上进行了实验。预处理是在医生的专业指导下完成的。数据集由 317 张患有阿尔茨海默病(AD)的脑部 MRI 和 723 张健康的脑部 MRI 组成。磁共振成像中的所有骨结构均被去除,剩余图像通过 FSL 软件注册为 91 × 109 × 91 格式。900 张核磁共振成像随机选取其中一个作为训练集,其他的作为测试集。我们选择一些归一化为 [0, 1] 的核磁共振成像二维切片作为模型的输入。我们通过精确的体素级分割建立原点数据集,然后将其转换为点云。

图 6. 点对点重构精度的结果是角度的倍数,用 PC 对 PC 误差的热图表示。

我们的生成模型和所有比较模型都训练了 2000 个历元。HSPN 由 Pytorch 实现,实验在英特尔酷睿 i97960X CPU @ 2.80GHz×32 和 Nvidia GeForce RTX 2080 Ti GPU 上进行。我们将 λ1、λ3、λ4 和 λgp 分别设置为 0.1、1、0.05 和 10,并使用初始学习率为 1 × 10-4 的 Adam 优化器。具体来说,我们通过将 λ2 从 0.1 增加到 1 来动态调整训练参数。

为了评估所提模型的有效性,利用倒角距离来评估客观质量。点云到点云(PC-to-PC)误差[3]用于测量输出中每个点的误差值。此外,我们还测量了模型的鲁棒性。

我们在所建数据集上对 HSPN 进行了全面分析。考虑到建议模型所完成任务的复杂性,我们将在消融研究中用其他现有的高性能网络结构替换模型的一部分,以证明我们模型的优越性。在本节中,我们仅展示所提模型的重建结果。

4.2. 完成绩效评估

图 4 报告了 HSPN 在测试集上的一些定性评估及其实验结果。图 5 显示了所提模型在不同训练阶段的输出结果。图 6 显示了生成的点云的逐点误差。为了进一步检验点云的细节捕捉能力,我们使用了差异热图来反映重建点云与相应地面实况之间的绝对差异。我们选取多个角度的点云来展示热图的效果,以充分说明点对点重建的准确性。结果表明,重建结果中大部分顶点的误差非常小,证实了所提结构的细节灵敏度。轴上的值乘以系数 10-4。

图 4. 建议模型的定性评估。我们选择不同角度的核磁共振成像作为 HSPN 的输入。我们在三维空间中显示重建的点云,并将其投影到二维平面上。

4.3. 消融研究

在本小节中,我们分析了重要模块和超参数对 HSPN 的影响。为方便起见,所有研究通常都在大脑类别中进行。考虑到每个区域生成的点数可能不同,我们使用基于点误差的评估中为每个点计算的 PC 到 PC 误差。

1) 预测器的效果: 为了证明我们的对抗性 GCN 预测器的有效性和准确性,我们分别对预测器进行了以下两种修改,并观察了误差:(1)"No-D "是指去掉预测器的判别器,从而取消预测器的对抗性生成原理。在这种情况下,我们只使用 Chamfer 距离作为损失函数来训练 ResNet 和生成器。(2) "Point OutNet "是使用 [55] 中的另一种点云生成架构 PointOutNet 替换我们的预测器结构的变体。比较结果如图 7 左侧所示。平均误差和总体点误差比较结果分别如图 7 右侧部分和表 I 所示,这证明所提出的结构最能帮助模型实现精确的重建目标。

表 I 用 CD(×10-1)测量的不同预测结构的效果

图 7. 不同编码器结构的比较结果。左图为完整区域和不完整区域的重建结果,右图为整个测试的平均点云对点云误差。

2) 补全系统的效果: 补全系统的生成能力直接影响装配效果模型的质量,并决定完成点云的最终质量。我们使用了几种不同的模型来替换我们建立的编码器(如果需要)和解码器,并测试了它们的性能:(1) "FC "是进行全连接解码器替换建议的解码器框架的变体。三层网络中输入和输出的大小分别为 [96; 1024];[1024; 2048];[2048; 2048 × 3]。(2) "FN "是进行基于 FoldingNet 的编码器和解码器的变体,由 [49] 提出。FoldingNet 通常是一个生成模型,但也可以通过适当改变输入来通用于点云完成任务。(3) "TN "是指用 [58] 中的 TopNet 替换编码块和解码块。我们在图 8 的上半部分展示了从测试中随机抽取的两个样本的处理过程,并在图 8 的下半部分和表 II 中报告了结果。平均误差和总点误差的比较表明我们的模型具有最强的重构能力。

表 II 用 CD 测量的完成系统对模型的影响(×10-1)

3)AGB 的影响:我们对所提出的模型进行了四种变体,以验证注意力门块的有效性:(1)表 III 的第一行:从模型中移除所有 AGB 的变体。(2)表三的第二行:去掉分层注意力管道和相应的 AGB(AGB1)的变体。(3) 表三第三行:移除作为自我注意区块(AGB2)的 AGB 的变化。(3) 表 III 最后一行:模型中保留所有 AGB 的变体。除了被移除/替换的模块外,其他四个变体结构相同。结果如表 III 所示。其中,保留所有 AGB 的模型达到最佳性能。实验结果证明了我们模型中使用的注意力门块的有效性。

表 III Agb 对我们模型的影响,所有结果均以 CD(×10-1)表示

4) 以总点误差衡量的点数影响: 在这项工作中,我们的预测器和解码器输出的点云大小为 2048,模型在此规模下表现良好。我们还分析了当输入条件恶化时,模型是否仍有类似表现。为了测试解码器的鲁棒性,我们从预测器的输出中随机选取 n 个点,并将其传输到第一个编码块,以确保生成效率不会受到手术过程中视觉和传感能力的影响。我们在测试中设置了多个 n,如图 9 所示,结果如表 IV 所示。

表 IV 用 CD 测量的点数的影响(×10-1)

5) 图像输入数量的影响:在这项工作中,我们使用单幅图像重建目标大脑的三维点云实例,并证明了重建点云的高精度。同时,我们推测,由于核磁共振成像图像包含与人脑相对应的结构信息,因此使用多张核磁共振成像切片而不是单张图像来重建三维点云实例,可以获得更高的精度。将单幅图像作为模型的输入可以提高编码器聚合特征的质量,从而提高解码器的重建质量。因此,在本节中,我们设计使用不同数量的二维核磁共振成像来代替单幅图像输入,并分别计算输出误差。结果见表五。可以看出,虽然输入多张切片确实能提高重建的精度,但提高程度并不明显,而且处理多张图像会大大增加模型的计算复杂度。因此,我们认为单幅图像输入适合这项工作。

图 8. 不同解码器结构的比较结果。我们在左图中报告了采样过程,在右图中报告了整个测试的平均点云对点云误差。

图 9. 预测器不同点数的比较过程。我们从 2048 个点的结果中按照预先确定的编号随机抽样,并将其输入后续模块。

表 V 用 CD 测量的图像输入数的影响(×10-1)

4.4. 重建点云的分类实验

不过,CD 和 EMD 都不能直接显示输出结果的视觉重建质量。为了研究点云在不同模型中的生成效果,我们进一步观察了由本文提出的方法和消融研究中所有方法生成的重建点云在二元分类任务中使用 pointNet++ 分类器网络的分类准确性。为了进行公平比较,我们使用 GANs 中训练判别器的想法来训练我们的分类器。首先使用点云地面实况(标记为真)和每种方法训练到 1000 个历元生成的点云(标记为假)对 pointNet++ 进行预训练。然后,将测试中不同方法生成的点云分别输入分类器。我们通过这样的分类实验来比较各种方法欺骗该分类器的能力。实验结果如图 10 所示。平均真实值越高,说明分类器越相信某种方法生成的点云是真实的点云。可以看出,拟议模型欺骗分类器的能力优于其他比较方法。从这些结果中我们可以得出结论,建议架构生成的点云质量最好,细节最真实,还原了实际大脑结构中最多的微观结构信息。

图 10. 重建点云的分类实验结果

5. DISCUSSION AND CONCLUSION

本文提出了一种名为分层形状感知网络的新型图像到 PC 重建模型,以解决微创手术和机器人引导手术中的视觉遮挡和不完整问题,从而提高形状重建技术在手术场景中的通用性和鲁棒性。考虑到手术过程中的实时反馈要求和计算的复杂性,点云被用作重建网络的表示,单个不完整图像被用作输入。

与我们的方法相比,一个简单的替代方法是训练一个简单的生成网络,并根据破损图像一步预测整个点云结构。然而,直接生成模型是不可行的,因为 a) 图像中的已知信息和先验知识没有得到充分利用;b) 图像中待修复的完整区域和待修复的损坏区域没有得到审慎重建,这两种情况都会导致重建误差大大增加。

我们的多结构模型集成了多个模块,共同完成预定的复杂预测和完成任务。我们设计了一个对抗性分支预测器,用于提取二维磁共振成像中的丰富结构信息,并预测初始不完整点云。分层编码和解码块用于完成完成任务,同时确保对微观结构的感知。构建的通用逻辑 AGB 可基于同一机制输出可训练的多重关注结果。

目前,术中磁共振成像技术已经发展起来,并在脑外科领域取得了长足的进步。在本文中,我们使用经过预处理的二维核磁共振成像进行实验,并取得了良好的效果。我们希望这项工作能立即帮助医生在手术过程中获得大脑的三维形状视觉和位置信息。在长期工作计划中,我们的目标是建立一个术中实时内脏图像数据集。我们希望尽可能减少 HSPN 的输入限制,以消除模型在更多场景和时间内的不可用性。

考虑到目前几乎没有一项工作完全符合 HSPN 的目的和运行模式,我们通过将模型组成的不同部分替换为现有的先进工作,然后进行比较,来证明我们的模型的优势和有效性。在定性和定量实验中,我们的模型表现优于其他最先进的组合。我们的方法推理时间大大缩短,能够有效地实时反馈局部图像属性。这种反馈可以指导医生找到有诊断价值的手术位置。

  • 11
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文的主要内容是介绍了一种基于单个图像的准确三维人脸重建方法,其采用了一种全面的方法来捕捉人脸的几何形状和纹理信息。 论文的作者 Aaron S. Jackson, Adrian Bulat, Vasileios Argyriou, Georgios Tzimiropoulos 提出了一个由两个主要组件组成的框架:3DMM(3D Morphable Model)回归器和姿态估计器。 首先,他们使用3DMM回归器来估计人脸的形状参数和纹理参数。这个回归器通过将人脸图像映射到3DMM参数空间,利用深度卷积神经网络(CNN)来预测人脸的三维形状和纹理参数。 然后,他们提出了一种姿态估计器来估计人脸的姿态参数。这个姿态估计器使用CNN来预测人脸的旋转和平移参数,以校正人脸的姿态。 最后,通过将形状参数、纹理参数和姿态参数结合起来,他们可以生成准确的三维人脸重建结果。 该方法在多个数据集上进行了实验评估,结果表明,与其他基准方法相比,该方法能够产生更准确和逼真的三维人脸重建结果。此外,该方法还具有一定的鲁棒性,对于具有不同姿态和光照条件的人脸图像也能取得良好的效果。 总的来说,《Accurate 3D Face Reconstruction from a Single Image: A Holistic Approach》这篇论文提出了一种综合性的方法,通过结合形状参数、纹理参数和姿态参数,实现了准确的三维人脸重建。这个方法在单个图像上能够生成高质量的三维人脸模型,对于人脸分析、虚拟现实等应用具有重要意义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值