【Geometry Preserving---多模态】

最新推荐文章于 2023-03-20 15:45:00 发布

小郭同学要努力

最新推荐文章于 2023-03-20 15:45:00 发布

阅读量439

点赞数 2

分类专栏：图像融合文章标签：深度学习计算机视觉人工智能

本文链接：https://blog.csdn.net/weixin_43690932/article/details/127182592

版权

图像融合专栏收录该内容

134 篇文章 80 订阅

订阅专栏

Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation

多模态图像

红外和可见光图像、医疗图像、遥感图像都属于多模态图像；多模态传感器在模态之间自然具有不同的外部参数，例如透镜参数和相对位置；

multi-modal registration

虽然可以做到有监督的，但是事实数据很难获取，一般采用的也还是合成数据；本文提出的一种方法在已有的多模态图像Translation基础上，并同时学习多模态translation和spatial registration，做到在两个模态上对图像进行训练。同时我们可以使用单模态度量标准在registrasion network进行评估。
请添加图片描述
在整个方法中registrasion network（简称R网络）和translation network（简称T网络）同时开始工作，尽可能使T保持几何图像。T网络执行photo-metric mapping任务、R网络学习registration task所需的几何变换。（T为R服务）

优势

•一种用于多模态图像registration的无监督方法。
• 一种几何保留translation网络，允许在多模态配准中应用单模态度量。
• 一种鼓励生成器to be geometry preserving的训练方案。

网络架构

请添加图片描述

T和R网络
采用GAN框架进行过训练T和R，两个网络R和T通过两个不同的训练流进行联合训练。在每个训练步骤中同时执行两个训练流程

我们的registration 网络 (R =(R Φ，RS)) 是由全卷积网络R Φ 和再采样器层RS组成的spatial transformation网络 (STN)。我们应用的变换是一种非线性的密集变形-允许图像之间的不均匀映射

进行R网络部件解读

RΦ - Deformation Field Generator:
R Φ-形变场发生器: 网络取两个输入图像，Ia和Ib，并产生一个形变场 φ = R(Ia，Ib)，描述如何将Ia non-rigidly 地对准Ib。形变场是2维向量的HA ×WA 矩阵，指示输入图像Ia中每个像素 (i，j) 的变形方向

RS - Re-sampling Layer:
RS-再采样层（重复采样）: 该层接收由r Φ 产生的变形场 φ，并将其应用于源图像。在这里，源图像不一定是Ia，它可以来自域A或B。具体地，在像素v =(i，j) 处的变换图像RS(Is，φ) 的值由等式给出:
RS (is，φ)[v]= Is [v φ(v)]
其中 φ(v)=(Δ y，Δ x) 分别是在x和y方向上由r Φ 在像素v =(i，j) 处产生的变形。为避免变形图像RS(Is，φ) 过度失真，我们限制r Φ 产生非光滑变形。我们采用一个常用的正则化项，用于产生平滑变形。特别地，正则化损失将鼓励相邻像素具有类似的变形。

进行T网络部件解读

我们工作的一个关键挑战是训练image-to-image translation network T to be geometric preserving。如果T是geometric preserving，则意味着它仅执行photo-metric mapping，因此registration task仅由registration network R执行。但是，在我们的实验中，我们观察到T倾向于生成与地面真实图像在空间上对齐的假图像，而与R的准确性无关。为了避免这种情况，我们可以通过减少其容量 (层数) 来限制T执行任何空间对齐。虽然我们确实观察到降低T的容量确实可以提高我们的 registration network 的性能，但它仍然限制了 registration network 完成所有registration task