【论文阅读笔记】An Unsupervised Learning Model for Deformable Medical Image Registration

图像配准是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像映射到另一幅图像,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。

本文发表在2018上,作者使用CNN实现了非监督的医学图像配准,精确度与STOA持平,但由于非监督速度大幅提升。文章的贡献有三:

  • 提出了一种基于学习的解决方案,不需要在训练过程中获取诸如ground truth对应或解剖标志等信息;
  • 提出一个参数跨种群共享的CNN函数,通过函数评估实现配准;
  • 参数优化的方法可以使用各种代价函数,从而适应各种任务;

网络架构如图:

输入为160 × 192 × 224×1的两张单通道灰度图(movingfixed)叠加成160 × 192 × 224×2。通过CNN学习函数gCNN的输入即φ配准域,p是体素,φ(p)是图像中的具体位置,F(p)M(φ(p))确定了相似的解剖位置。

文章定义了空间转换函数,使用差值的形式将配准域转换为最终的配准图:

网络通过梯度下降进行优化,定义的损失函数是常规配准的能量函数上进行改进,常规的能量函数做代价函数如(1)(2),其中Lsim(·, ·)定义了原图和配准图的相似度,Lsmooth是为了配准图变换得更加平滑而增加的惩罚项。

本文的损失函数定义为:

其中CC为互相关函数:

 测试评价指标为常见的Dice Score:

文章中采用的CNN为类似Unet的结构:

<think>好的,我现在需要帮助用户解决关于无监督学习中可能对称的可变形3D模型损失函数的改进方法的问题。首先,我需要理解用户的具体需求。用户提到的关键词包括无监督学习、对称性、可变形3D模型以及损失函数的改进技术。接下来,我需要回忆相关知识,并结合现有的文献来组织答案。 首先,无监督学习在3D模型中的应用通常涉及自动编码器或生成对抗网络等结构,这些方法不需要标注数据,适合处理可变形物体。对称性在这里可能指的是几何对称性,比如左右对称的物体,这在损失函数设计中需要考虑,以提高模型的泛化能力和重建精度。 接下来,损失函数的改进技术可能包括对称性约束、几何一致性、对抗训练等。例如,对称损失函数可以通过比较原始形状和其镜像对称形状的差异来设计。此外,几何一致性损失可以确保变形后的模型保持物理合理性,如平滑变形和体积保持。 然后,我需要查阅相关的文献。根据用户提供的引用,引用[1]提到了生成形状模型在轮廓空间中的应用,这可能与形状重建和对称性处理有关。引用[2]讨论了单目密集3D重建,可能涉及动态场景中的变形模型,这对可变形3D模型的损失函数设计有参考价值。 现在,我需要将这些点整合成结构化的回答。可能需要分点讨论损失函数的设计策略,并结合对称性的利用方法。同时,需要确保使用正确的中文术语和LaTeX格式的数学表达式,如对称损失函数的具体公式,比如$L_{sym} = ||S(x) - \hat{x}||_2^2$,其中$S(x)$是对称变换后的形状,$\hat{x}$是重建后的形状。 还要考虑用户可能需要进一步的问题,比如如何平衡不同的损失项,或者具体的实现技巧。因此,生成相关问题时要涵盖这些潜在的需求,例如对称性检测方法、多任务学习的应用,以及如何处理动态场景中的变形。 最后,检查是否所有数学表达式都正确使用$...$或$$...$$格式,确保回答符合系统级指令的要求,并且引用正确标注。需要避免任何Markdown格式,保持回答自然流畅,结构清晰。</think>### 无监督学习中对称可变形3D模型损失函数改进方法 在无监督学习框架下,针对可能对称的可变形3D模型,损失函数设计需要结合几何对称性、形状一致性及变形规律。以下是主要改进技术: #### 1. **对称性约束损失** 通过显式编码几何对称性,强制模型在潜在空间中保留对称特性: - **对称重建损失**:对输入形状$x$及其对称变换$S(x)$施加一致性约束: $$L_{sym} = \| S(G(z)) - G(S(z)) \|_2^2$$ 其中$G$为生成模型,$z$为潜在编码[^1]。 - **对称对抗损失**:在判别器中引入对称鉴别器,判断生成形状是否满足对称性。 #### 2. **几何一致性损失** - **变形场平滑约束**:对变形场$T$施加正则化: $$L_{smooth} = \sum_{i,j} \| T(p_i) - T(p_j) \|^2 \cdot w_{ij}$$ 其中$w_{ij}$表示相邻点$p_i,p_j$的权重。 - **体积保持约束**:通过雅可比行列式惩罚非刚性变形: $$L_{vol} = \sum \| \det(J_T(p)) - 1 \|^2$$ #### 3. **多模态自监督信号** - **轮廓空间对齐**:利用生成形状模型在轮廓空间中的投影差异作为监督信号: $$L_{sil} = \text{IoU}(\text{Proj}(G(z)), \text{Proj}(x))$$ - **动态场景约束**:对于动态变形,引入两视角间的光流一致性约束[^2]。 #### 4. **分层潜在编码** 将潜在空间分解为对称参数$z_{sym}$与非对称变形$z_{def}$: $$ z = [z_{sym}; z_{def}] $$ 通过解耦编码,可独立优化对称相关特征。 #### 5. **概率对称建模** 引入概率对称检测模块,自动推断对称概率分布: $$ P(sym) = f_{\theta}(x) $$ 动态调整对称约束强度,适应部分对称或噪声数据。 ### 实现示例(伪代码) ```python def loss_function(x, x_recon, T, z): # 对称重建损失 sym_loss = torch.norm(sym_transform(x_recon) - recon_sym_x)**2 # 变形平滑损失 grad_T = torch.autograd.grad(T, inputs=points, create_graph=True) smooth_loss = grad_T.norm(dim=-1).mean() # 多视角一致性 view1, view2 = render_multiview(x_recon) photo_loss = SSIM(view1, view2) return sym_loss + 0.1*smooth_loss + 0.5*photo_loss ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值