论文阅读--Sensorless Freehand 3D Ultrasound Reconstruction via Deep Contextual Learning

Sensorless Freehand 3D Ultrasound Reconstruction via Deep Contextual Learning

基于深度上下文学习的无传感器徒手三维超声重建

来源：MICCA 2020.9

作者：Hengtao Guo1, Sheng Xu （ Department of Biomedical Engineering and Center for Biotechnology and
Interdisciplinary Studies, Rensselaer Polytechnic Institute, Troy, NY 12180, USA）

☯️相关知识

Transrectal ultrasound：经直肠超声

经直肠超声成像(TRUS)已被普遍用于指导前列腺癌的诊断，并可显著降低磁共振成像(磁共振成像)的平均负剂量。

Freehand 超声系统：FreeHand系统重建需要跟踪设备来获取每个帧的空间位置。

现在的无传感器freehand系统：通过移除跟踪设备，这种无传感器重建允许临床医生以更少的约束移动探头，而不用担心阻塞跟踪信号。此外，还降低了硬件成本。（重建方法：先前对此的研究主要是由散斑去相关支持的，它将相邻US图像之间的位置和方向的相对差异映射到它们的散斑图案的相关性，即散斑相关性越高，相邻帧之间的高度距离越小。）

文献：3d freehand ultrasound without external tracking using
deep learning. 使用CNN直接估计两次2D US扫描之间的帧间运动的可行性。2D卷积网络将两个连续的超声帧和它们之间产生的光流场作为叠加输入，以估计这两个帧之间的相对旋转和平移。

📑文献解决的问题（目的）：

根据上述文献提出的用CNN估计两帧之间的运动，但是然而，一段典型的US扫描视频**包含了两个相邻帧之外的丰富上下文信息，一个2D US帧序列可以更全面地表示US探测器的运动轨迹。**仅使用两个相邻帧可能会丢失时间信息，从而导致较不准确的重建。对斑点丰富的区域给予更多的关注可以提高重建性能，这一点还没有被探讨。

本文提出了一种新的深度上下文学习网络（DCL-Net），该框架以多个连续的US帧作为输入，而不是只有两个相邻的帧，通过合理地利用丰富的上下文信息来估计US探测的轨迹。此外，为了使网络聚焦于斑点丰富的图像区域，利用帧之间的去相关信息，在网络结构中嵌入了注意力机制。

📑数据来源：

美国国立卫生研究院(NIH)获得了640个TRUS扫描视频(640名患者),数据集分为500个、70个和70个案例，分别用于训练、验证和测试。

TRUS扫描视频均由电磁跟踪设备从实际临床病例中收集。该数据集包含640TRUS视频，全部来自由飞利浦IU22型扫描仪采集的不同长度的不同受试者，每一帧对应于一个EM跟踪矢量，该矢量包含该帧的位置和方向信息。 我们将此向量转换为3D齐次变换矩阵M=[RT；0 1]，其中R是3×3旋转矩阵，T是3D平移向量。

（三维超声重建的首要任务是获得两个或多个连续超声帧的相对空间位置。）

📑模型或方法：

​ 图一：显示了建议的DCL-Net体系结构，该体系结构设计在3D ResNext模型之上[18]。

（18：Xie, S., Girshick, R., Doll´ ar, P., Tu, Z., He, K.: Aggregated residual transformations for deep neural networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 1492–1500）

输入： n * H *W的3D体积，也就是说N个帧，每个帧是H * W(宽和高)

${\theta }_i$： 表示相邻帧之间的相对变换参数。（这个参数是网络训练的基础）（ I i 和 I i + 1 I_i 和 I_{i+1} I