Attention for Image Registration(AiR)笔记

什么是Image Registration

图像配准(Image registration)就是将不同时间、不同传感器（成像设备）或不同条件下（天候、照度、摄像位置和角度等）获取的两幅或多幅图像进行匹配、叠加的过程。举个例子来说就是在医学上机器如果要检查一个人的肺部，那机器可能只有一个标准状态下肺部的模型，而人的肺部会因为呼吸而不断扩张与收缩，那机器怎么去识别出这个人的肺部哪一块是哪一块呢，这就需要用到图像配准，将变形的图像和标准图像进行匹配。再比如说已知脑部结构的正面图，怎么将一张侧面图与正面的结构相对应上呢，这也需要图像配准。

本论文做了什么

将attention机制引入到图像配准中，大概呢就是先将原图片进行划分，划分成许多小块之后，就类似于attention在自然语言处理中的一样，将这些小块进行编码，将这些编码送入到编码器中，经过attention也就是通过Q*K，并通过归一化等一系列操作后（具体可看attention那篇论文），得到的值乘以V，全部相加起来就得到一个特征向量Z，该向量就对应了划分的某一个小块的特征。之后将这些特征向量送入解码器中，而运动图像也经过划分小块之后以同样的方式进入解码器中，在解码器中使用mask Attention处理当前小块和已经运动图像前文之间的关系，使用Encoder-Decnoder Attention来处理运动图像小块和原图像编码的特征向量之间的关系，最终得到一个特征图，之后将该特征图，原图，运动图像一并送入STN中，STN就将运动图像经过特征图来平移旋转等一系列变换，得到最终配准结果。
就比如上述图片，编码器模块(如图绿色虚线框所示)以固定的图像补丁为输入，采用自注意机制学习记忆注意特征的表征。
解码器模块(如图紫色虚线框所示)从编码器(存储器)中提取固定图像的注意特征和运动图像的自注意特征（attention模块）作为输入，用于预测可将运动图像转换为固定图像的可变形特征（特征图）。
上述图中可看到无论编码器还是解码器模块都用了N个相同的模块进行叠加，这是因为本论文使用多个编码器与多个解码器叠加的方式来替代cnn能够以不同大小的卷积学习不同层次特征的情况。他就是把图像分成不同大小的块，来代替不同大小的卷积核。
它们适应不同大小的补丁作为输入，并生成N个不同的注意特征图FN。然后将N个特征图采样到统一的大小，并与归一化加权比相加，得到最终的可变形特征图F。

该图片是论文中attention机制的公式，可以看出和attention is all you need那篇文章的公式基本相同。

上图就是该论文整体的一个流程，先是原图像进入编码器，得到特征向量，特征向量再和运动图像一起进入解码器，运动图像在解码器中和原图像在编码器中一样，先经过attention模块得到自注意特征向量，再和原图像的特征向量进行attention，最终输出得到变换特征图。

什么是STN

STN就是一个对数据进行平移，旋转等一系列变换操作的模块，他是从CNN中提出的。因为CNN本身由于卷积核和池化操作的存在，使得CNN拥有一定的平移不变性，但并不足够充分，于是人们就把学习平移不变性以及旋转不变性等的能力单独提取出来，形成一个模块，也就是STN。
STN在本论文中就是一个拼图的作用，运动图像就是一堆等待拼接的图片碎片，原图像就是一个实物还原图，我们将这些碎片取出，根据原图像像素的坐标判断这些碎片应该放在哪个位置，并且通过特征变换图来判断这个碎片是否要经过旋转，缩放等变换再进入。最终就将图像进行了配准。（参考文章链接: link.）