论文解读——《A CNN Regression Approach for Real-Time 2D/3D Registration》

论文《实时2D/D配准的一种CNN回归方法》分析：

（该文章的写作思路：在摘要中大致谈一下自己所提出的方法的可以解决什么样的问题，所涉及哪些方法，然后引言中提出好几种方法，介绍它们，提出缺点，然后引出本文的方法，接下来一点介绍该文所研究的事务的背景，下一节细节化介绍新方法，再下一节来证明自己所提出的方法是有效的，以及实验过程，最后一节总结结果）

摘要：

• 提出一种卷积神经网络回归的方法（也称之为PEHL），该方法用于解决现有的基于强度的2D/3D配准技术所存在的两个主要的限制：1.计算慢。2.捕捉范围小（利用在配准之前进行初始化的方法来解决——利用目标物体的主要特征来进行姿态恢复）
• 该方法的关键在于训练一个CNN回归器用于恢复 从DRR和X光图像到它们潜在变换参数之间差异的映射

本篇论文提出的方法：

• 利用嵌入在数字化重建的放射图像和X光图像表面的信息并利用回归器来预估出变换参数
• 所涉及的具体方法：自动化特征提取步骤（An antomatic feature extraction step）——用于计算3D姿态索引特征，这个特征对要回归的变量很敏感，对于其余变量很健壮（robust）
  基于优化方法的原理(optization-basesd methods)：通过迭代的优化变换参数（代表配准质量的标量值度量函数——scalar-valued metric function）
• 权重共享是为了减少内存占用
• 优化器（Optimizer）的作用在于是在DRR和X光图像之间最大化相似性度量

---

Ⅰ引言：

• 术前三维数据包括：CT,CBCT,MRI(磁共振成像),CAD（计算机辅助设计）

• 术中二维数据：X光成像

• 此篇论文的着重点：将CT或CBCT提供的三维X光衰减图和2维的X光图像配准

• 在现有的方法中，较为精确的二维/三维配准通常都是基于强度（intensity-based method）的2D/3D配准方法获得的，但是此方法有两个缺点：计算时间长（涉及到大量的相似性度量的评估），捕捉范围小（优化相似性度量的方法通常是非凸的，优化器很有可能陷入局部最大值（local maxima），因此捕捉范围小） 该方法若想解决捕捉范围小这个问题：在配准之前使用初始化的方法；加快配准速度的方法：1.稀疏采样（sparse sampling）解释在下面（但是只有一小部分适合）。2.拼接（splatting），解释在下面，这个方法存在一个缺点：有叠影，导致配准质量下降

• DRR来自于对虚拟X光模拟所获得的三维X光衰减图像

• PEHL方法：训练一个恢复映射的回归器很复杂，该文中通过简化以下三个方法简化非线性关系然后获得映射关系：

  • LIR：近似于三维姿态索引，只会被初始值与基值之间的差异所影响
  • PSP：将变换参数空间划分为很多小区域，对每个小区域进行回归器的训练
  • HPR：分解变换参数并用层级方式进行回归

段落分析：

1.基础解释
2.现有方法中的2D/3D配准

Ⅱ问题公式化：（这一部分主要讲2维/3维配准的背景，并且可把配准的问题看成是一个回归问题）

A—X光成像模型：

X光图像生成公式：

表示I（p）在点p处x光图像的强度

衰减系数：

最终：

B——三维变换的参数化：

六个变换参数（三个平面和三个非平面参数）

C——通过回归进行二维/三维图像的配准（二维/三维图像的配准可看成是一个回归问题）

X（）表示一个特征提取器
f（）表示回归器，表达映射关系

Ⅲ通过层级学习进行姿态估计

（这一部分主要描述细节：（1）特征如何被计算（2）回归器如何被设计训练和应用的）

A——参数的空间划分

训练回归器的目的：

提取姿态索引特征：
这个特征对残差很敏感，对t不敏感，性质如下：

B——局部图像残差（LIR）

此部分的目的在于：

• （1）对局部图像残差进行计算
  在2D图像平面中确定一个局部ROI
  由参数
  描述
  分别表示中心，宽度和方向
• （2）三维点的提取
  三维点通常用于计算LIR特征的提取（两个步骤）

C——层级参数的回归

同时回归6个参数，使得所回归的映射会涉及多个组成因素，现进行层级划分，划分为三组：

这三组难度递增

D——CNN回归模型

所提出的回归方法有几个方面的挑战

• (1)该对于复杂映射需要足够灵活
• (2)该模型的权重需要足够轻使得能够实时转发并存储在RAM当中

如何解决这两个挑战：

• (1)网络结构（Network Structure):
  一个CNN回归模型图如上图所示，
  应用在每个channel中的CNN结构如下所示：
  

• (2)训练(Training)：
  CNN回归模型在合成的X光图像中进行训练（参数均均匀分布）

Ⅳ 实验（Experiments）

A——数据集（Dataset）

通过三个方面对PEHL的实时2D/3D配准的应用对该方法评价：

• （1）Total Knee Arthroplasty（TKA）
  使用二维/三维配准方法，可以透视视频的方法匹配膝盖的三维模型，可以预估膝关节的运动状态
• （2）Virtual Implant Planning System (VIPS)
  在这个应用当中，二维/三维配准被用于匹配虚拟的三维植入物（通过对真实植入物的透视视频来获得）
• （3）X-ray Echo Fusion (XEF)
  二维/三维配准被用于预测经食管超声心动图探头的三位姿态估计

Ⅴ 结果

该文章为了使用回归解决实时2D/3D配准问题，提出了一个CNN回归方法——PEHL，并且介绍了三个新颖的算法策略，LIR，HPR和PSP，简化了用于回归的潜在映射，且设计了一个CNN回归模型。印证了这三个算法策略和CNN回归模型对于PEHL很重要，三次迭代为最优化的设置，此刻的成功率已经很高

---

英语缩略词集合：

• DRR：Digitally Reconstructed Radiograph——数字化重建X光图像（模拟的X光图像——通过模拟虚拟X光图像的3维衰减映射得到的）
• GHT：Generalizd Hough Transform——广义霍夫变换——>用于对脊椎进行初始的姿态估计
• MI： Mutual Information
• SRC： Stochastic Rank Correlation——随机秩关联
• MLP： Multi-Layer Perception——多层感知器
• PEHL： Pose Estimation via Hierarchical Learning——通过层级学习进行姿态估计，通过此方法能获得2维/3维配准精度和广度
• LIR： Local image residual——局部图像残差
• PSP： Parameter space partitioning——参数的空间划分
• HPR： 层级的参数回归
• SGD： Stochastic Gradient Descent——随机梯度下降
• TKA： Total Knee Arthroplasty——全膝关节置换术
• VIPS： Virtual Implant Planning System ——虚拟植入物计划系统
• XEF： X-ray Echo Fusion——X射线回声融合
• TEE： transesophageal echocardiography——经食道超声心动图

---

专业词汇解释：

• 相似性度量（similarity measure):两个事物越接近，它们的相似性度量也就越大，而两个事物越疏远，它们的相似性度量也就越小。
• 凸优化和非凸优化：
  凸： 指的是顺着梯度方向走到底就 一定是 最优解 。 大部分 传统机器学习 问题 都是凸的。
  非凸： 指的是顺着梯度方向走到底只能保证是局部最优，不能保证 是全局最优。深度学习以及小部分传统机器学习问题都是非凸的。

• 稀疏采样： 它作为一个新的采样理论，它通过开发信号的稀疏特性，在远小于Nyquist 采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美的重建信号 。
• 拼接（splatting） 基于立体像素的体积渲染技术——直接将单个立体像素投影到成像平面
• 损失函数（loss function） 是用来估量模型的预测值f(x)与真实值Y的不一致程度，即度量拟合程度。它是一个非负实值函数，通常使用 L(Y, f(X)) 来表示，损失函数越小，模型的拟合越好，鲁棒性越好。
• 欧几里得损失： 对模型的训练期间将目标函数最小化