图像配置分类及名词解释

研0，第一次接触深度学习，接触这个领域，写文只为了记录学习进展并总结学习内容，如有错误请纠正。

图像配准

什么是图像配准？

图像配准是使用某种方法，基于某种评估标准，将一副或多幅图片（局部）最优映射到目标图片上的方法。通过寻找一种空间变换把一幅图像（源图像，也叫移动图像，Moving image）映射到另一幅图像（目标图像，也叫固定图像，Fixed image），使得两图中对应空间同一位置的点一一对应起来，从而达到信息融合的目的，得到配准图像（Moved）。

这些图像可以是不同时间（多时相配准），不同拍摄视角（多视图配准），不同传感器（比如说图像温度气味等）在不同地方拍摄（多模态配准）。这些图像之间的空间关系可以是刚性（rigid）（平移和旋转）和仿射（affine）（缩放和剪切），单应性（homographies）或复杂的大变形模型（complex large deformations models）

图像配准大致分类方式：

注：来自网络

部分说明：

按照图像采集方法分类

• 多时相配准（Mulit-temporal Analysis）：同一物体在同一场景同一视角不同时间的图像配准，比如运动追踪，肿瘤生长情况追踪等
• 多视图配准（Mulit-view Analysis）：同一物体同一场景不同视角的图像配准，比如从2D图像中重建3D
• 多模态配准（Mulit-modal Analysis）：常见于医学领域，不同的医学设备图像进行匹配

按照配准模式分类

• 单模态配准（Single-modality）：待配准的图像用同一种成像设备不同时刻和不同角度进行获取
• 多模态配准（Multi-modality）：待配准图像来自不同成像设备
• Modality to model：标准模型与不同模态配准，比如图纸

重点：在医学影像处理领域，使用地比较多的图像配准是多模态图像配准和时间序列配准（也被称单模态多时相配准）

按照变换模型分类

对图像进行空间变换可以分为刚性变换（rigid deformation）和非刚性变换（non-rigid deformation），通常有：

• 刚性变换（rigid，也叫欧式变换、等距变换）：只对物体进行平移变换和旋转变换，而形状不变

以下属于非刚性变换（只有常见几种，不全）：

• 仿射变换（affine）：对图像进行平移（Translation）、旋转（Rotation）、缩放（Scale）、剪切（Shear）、翻转（Flip），是一种二维坐标道二维坐标之间的线性变换，保持了二维图像的“平直性“（直线经过变换之后仍然是直线）和“平行性”（二维图形之间相对位置关系保持不变，平行线仍然是平行线，且直线上点的位置顺序不变），但角度会变
• 投影变换（projective，也叫做透视变换）：以上都是二维上的变换，投影变换可以是三维的，有8个变量控制，既自由度是8。

以上三种区别：

• 非线性变换（non-linear，也叫弹性变换）：所谓非线性变换，就是把原始的特征做非线性变换，得到一个新的特征，使用这个新的特征来做线性的分类，则对应到原始的特征空间中，相当于做了非线性的分类。非线性变换的好处是，算法将有更多的选择，Ein可以做的更低。
  步骤流程：通过非线性变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行线性分类。

此外补充：
1、单应性变换（homography）：一个平面内的点映射到另一个平面内的二维投影变换，在这里平面是指图像或者三维中的平面关系，例如图中所示：

单应性变换=射影变换=投影变换=平面投影变换
2、相似变换（Similarity Transform）：旋转、平移，放缩和翻转变换的集合，在改变过程中形状不变，大小和位置可变（途中点线相对位置不变），有正相似变换（真正的相似变换）和负相似变换（镜面相似变换）两种。
属于仿射变换的一种特殊情况，也就是在仿射变换中去除剪切（shear）这个因子后的结果。

按照配准依据的特征分类
算法所基于的特征及相似性测度

• 基于外部特征：在医学中，通过患者身上固定标记或向体内注入显影标志以获得图像上确定的标记点，成为外部特征点。
• 基于装置成像坐标
• 基于内部信息：内部特征指的是从图像内部本身提取的信息

按照算法本质分类：

• 基于灰度的图像配准
  基于灰度信息的配准（intensity-based，也叫基于像素的配准）：灰度基于像素的，利用整幅图像的像素或体素来构成特征空间，根据像素值的统计信息来计算相似性测度和两幅图像中的对应关系。方法主要有：互相关法（也叫模板匹配法），互信息法（mutual information）、序列相似度检测法。
  缺点：
  (1)对图像的灰度变化比较敏感，尤其是非线性的光照变化，将大大降低算法的性能；
  (2)计算的复杂度高；
  (3)对目标的旋转，形变以及遮挡比较敏感。
  几种基于灰度的图像匹配算法：平均绝对差算法（MAD）、绝对误差和算法（SAD）、误差平方和算法（SSD）、平均误差平方和算法（MSD）、归一化积相关算法（NCC）、序贯相似性检测算法（SSDA）、hadamard变换算法（SATD）等

• 基于特征的图像配准
  基于特征信息的配准（feature-based）：在几何上有特别意义的可以定位的特征点集（比如不连续点，图形的转折点，线交叉点等），或者用分割的方法提取出感兴趣的部分的轮廓（曲线或曲面），以作为用来比较的特征空间。在医学图像上可以是具有解剖意义的点。
  几种基于特征的图像匹配算法有：SIFT算法，SURF算法和ORB算法

具体的图像配准算法是基于这两者的混合或变体的算法
按照维度分类：
2D/2D：通常指两个断层面之间的配准。
2D/3D:通常是指空间图像和投影图像（或者是单独的一个层面）之间的直接配准。
3D/3D:指的是两个三维图像之间的配准。

按照用户交互性分类
全自动配准：用户只需要提供相应算法和图像数据即可
半自动配准：用户可能需要初始化算法或指导算法的某些参数，也可能需要接受或者拒绝某些参数的假设
交互配准：由用户完成配准过程，算法提供给用户一个当前变换完成的一个直观显示以指导用户的配准

图像配准方法

Method used to find the transfation(坐标转换的方法）

• rigid & affine
  • Landmark based (基于图像特征点的配准）
  • Information theory based（信息论中的理解工作）
  • Edge based（通过边缘的对应性实现配准）
  • Voxel intensity based（通过衡量两个图像之间灰度的一致性来实现配准）
• Non-rigid
  • Registration using basis function（奇函数）
  • Registration using splines
  • Physics based（使用物理配准方法）
• Elastic ，Fluid ，Optical flow ，ect。

部分展开后：

• Landmark based (基于图像特征点的配准）
  1、寻找类似的特征点来实现配准，Identitying corresponding points in the images and inferring the image transformation
  2、Types of landmarks：intrinsic（内部特征点）and Extrinsic（外部特征点，物理性也可以是人为添加）
  3、Computing the average or “centroid” of each set ofpoints —translation (计算点的相关性找到他们的质心）
  4、Rotated this point set about the new centroid until the sum of the squared distances between each corresponding point pair is minimized(甚至通过旋转让这些点的距离达到最小，计算距离一般用最小方差来表达）

• Surface based
  1、 Extracting corresponding surfaces
  2、 Computing the transformation by minimizing some measure of distance between the two surfaces（求取两个图像表面距离最小的误差，进而实现表面的匹配）
  3、Algorithms used
  *The “Head and Hat” Algorithm(算法只要实现表面上的匹配)
  *The Iterative Closest Point Algorithm（反复的最近点的匹配算法）
  *Registration using crest line(脊柱线，曲线点来实现，犹如山脊)

• Voxel intensity based
  1、 Calculating the Registration transformation by optimizing some measure calculateed directly from the voxel values in the images(计算两个图像之间灰度的差异，找到最小差异从而实现配准)
  （白区越散乱匹配的越不好）
  2、 Algorithms used
  *Registration by minimizing intensity difference（求取图像灰度最小差异）
  *Correlation techniques
  *Ratio image uniformity
  *Partitioned Intensity Uniformity

• Information theory based（基于信息论的配准）
  1、To maximinze the amount of shared information in two images(可以把两个图像相对的熵进行一个和的提取，然后减小其中所含的信息量，最后形成配准的最优化)
  
  2、Algorithms used
  *Joint entropy
  —— Joint entropy measures the amount of information in the limages combined(衡量混合后图像信息量的总和，达到最小时，图像配准达到最好)
  *Mutual information
  ——A measure of how well one image explains the other，and is maximized at the optimal alignment (互信息，衡量一个图像所含信息的多少，用来解释两个图像是否最好的匹配，通常求最大值)
  *Normalized Mutual Information

• Registration using basis functions
  *Represent the deformation field using a set of basis functions
  ——Fourier（trigonometric）basis function or wavelet basis functions（傅里叶奇函数和三角奇函数)
  ——Implement smoothness constraint by linear combination of basis functions
  ——The trigonometric basis function corresponds to aspectral representation of the deformation filed where each basis function describes a particular frequency of the deformation

• Registration using splines
  1、Assumption
  *a set of crresponding points or landmarks (control points) can be identified
  2、At control points, interpolate or approximate the displacements to map the location of the control
  points in both imags
  3、 Between control points,they provide a smoothly
  varying displacement field

参考来源：
图像配准综述
单应性变换1
单应性变换2
刚性、仿射、投影和非线性变换
变换，matlab代码例子
头条百科-相似变换
基于灰度的模板匹配算法，MAD，NCC等等
相似性度量方法概括

心得：一下子接触太多名词，总觉得云里雾里，找不到最佳下手位置。感觉很像不会杀猪的人被强行塞了一把杀猪刀，不知道应该大力砍脖子还是捅心脏，或者随便戳，戳死就完事。
后面链接部分是上文内容借鉴来源，部分是代码和算法，可作参考，正确性没有验证。
如有侵权，联系定删。