医学影像顶刊TMI速递|2024年01月(下)

不大不小鸭

已于 2024-03-24 18:45:35 修改

阅读量1.1k

点赞数 23

文章标签：人工智能论文笔记深度学习神经网络目标检测计算机视觉超分辨率重建

于 2024-03-24 14:38:48 首次发布

本文链接：https://blog.csdn.net/winkingzzx/article/details/136986891

版权

来源：医学影像顶刊TMI速递|2024年01月(下) (qq.com)

No.1 Pattern-Aware Transformer: Hierarchical Pattern Propagation in Sequential Medical Images

标题：模式感知变换器：序列医学图像中的分层模式传播。（上海AILab张少霆）
标签：模式感知变压器，视频对象检测，3D语义分割，序列建模

论文探讨了如何在医学成像任务中有效挖掘序列图像之间的上下文信息，并对其进行联合建模。与通过逐点标记编码来建模序列相关性的现有方法不同，该论文提出了一种新颖的分层模式感知标记化策略。这种策略独立且分层地处理不同的视觉模式，不仅确保了在不同模式表示下的注意力聚合的完全灵活性，而且还能够同时保留局部和全局信息。

基于这一策略，论文提出了一个名为Pattern-Aware Transformer (PATrans) 的模型，该模型具有全局-局部双路径模式感知交叉注意力机制，能够在序列图像之间实现分层模式匹配和传播。此外，PATrans是一个即插即用模型，可以无缝集成到各种不同的基础网络中，用于多种下游序列建模任务。

论文还展示了PATrans在视频对象检测和3D体积语义分割任务的四个领域和五个基准测试中的通用应用范式。令人印象深刻的是，PATrans在所有这些基准测试中都设定了新的最佳水平，例如CVC-Video（92.3%检测F1）、ASU-Mayo（99.1%定位F1）、肺肿瘤（78.59% DSC）、鼻咽肿瘤（75.50% DSC）和肾肿瘤（87.53% DSC）。code：GGaoxiang/PATrans (github.com)

No.2 Hierarchical-Instance Contrastive Learning for Minority Detection on Imbalanced Medical Datasets

标题：层次化实例对比学习在不平衡医学数据集上的少数类别检测。（北邮Qicheng Lao）
标签：数据不平衡，异常检测，分层实例

论文针对深度学习方法在医学成像中常遇到的一些问题，如数据不平衡和对数据的高需求，提出了一种新的解决方案。在医学成像中，恶性或罕见疾病通常是数据集中的少数类别，其特点是分布多样化。此外，少数类别的标签不足和未见案例也为训练带来了难题。

为了解决这些问题，论文提出了一种名为Hierarchical-instance Contrastive Learning (HCLe) 的方法，该方法在训练阶段仅涉及多数类别的数据。为了解决多数类别内部分布不一致的问题，该方法引入了两个分支：第一个分支使用带有三个约束函数的自编码网络来有效提取图像级特征；第二个分支设计了一个新颖的对比学习网络，考虑到多数类别层次样本间特征的一致性。

为了进一步提高方法的准确性，该方法还结合了多样化的小批量策略，使得在多种条件下都能识别少数类别。论文通过在三种不同疾病和模态的数据集上进行广泛的实验来评估所提出的方法。实验结果表明，该方法的性能超过了现有的最先进方法。

这篇论文提供了一种新的视角和方法，用于在不平衡的医学数据集中检测少数类别，这对于提高医学成像分析的准确性和效率具有重要意义。

No.3 Developing Explainable Deep Model for Discovering Novel Control Mechanism of Neuro-Dynamics

标题：开发可解释深度模型以发现神经动力学的新控制机制。（UNC吴国荣）
标签：阿尔兹海默症

人脑是一个由许多相互作用的组件组成的复杂系统。通常，为了理解能够解释动态和自组织行为的工作机制，需要一个设计精良的计算模型，这些模型通常以偏微分方程（PDEs）的形式出现。然而，模型的构建和参数调整通常是基于预定义的特定领域知识进行经验性调整，这落后于从前所未有的时空数据量中发现新机制的新范式。

为了解决这一限制，论文的作者试图将深度神经网络的力量与复杂系统的物理原理相结合，设计出可解释的深度模型，以揭示人脑（最复杂的复杂系统）在与外部刺激互动时如何维持可控功能的机制作用。本着最优控制的精神，论文提出了一个统一的框架，设计了一个可解释的深度模型，描述了潜在神经生物学过程的动态行为，使我们能够在系统层面理解潜在的控制机制。

作者们已经揭示了阿尔茨海默病的病理生理机制，达到了疾病进展的可控性程度，其中剖析的系统级理解使得对疾病进展的预测准确性更高，对疾病病因的解释性也比传统的（黑箱式）深度模型更好。

这篇论文的研究成果对于理解和治疗阿尔茨海默病等神经退行性疾病具有重要意义，同时也为深度学习模型的可解释性提供了新的视角和方法。

No.4 Omnidirectional Monolithic Marker for Intra-Operative MR-Based Positional Sensing in Closed MRI

标题：全方位单体标记用于封闭MRI中术中基于MR的位置感应。（港大Ka-Wai Kwok）
标签：位置跟踪，电感耦合射频(ICRF)线圈，介入性MRI

论文提出了一种用于磁共振（MR）基于位置跟踪的感应耦合射频（ICRF）标记的设计，该设计能够在四分激励的封闭MR成像（MRI）中，稳健地增加所有扫描方向的跟踪信号。

该标记采用了三个弯曲的谐振电路，完全覆盖了一个包含信号源的圆柱形表面。每个谐振电路是一个平面螺旋电感器，与平行板电容器一起在柔性印刷电路板（FPC）上单体制造，并通过弯曲来实现弯曲结构。构建的标记尺寸为直径3毫米×高5毫米，品质因数大于22，并且其跟踪性能已在1.5 T MRI扫描仪上得到验证。

结果表明，该标记在三个轴的360°旋转下始终保持高正对比度点。在距离等中心56毫米的位移下，该标记可以被精确定位，最大误差为0.56毫米，固有标准偏差为0.1毫米。

由于高图像对比度，提出的标记能够实现3D中的自动实时跟踪，而无需依赖于其相对于MRI扫描仪接收线圈的方向。结合其小型化的设计，所提出的标记将促进干预和临床诊断中稳健和无线的MR基础跟踪。该方法针对可能涉及所有轴（X-Y-Z）旋转变化的应用。

No.5 The CathEye: A Forward-Looking Ultrasound Catheter for Image-Guided Cardiovascular Procedures

标题：CathEye：一种用于图像引导心血管手术的前视超声导管。（多伦多城市大学M. Ali Tavallaei）
标签：图像引导

论文讨论了一种名为CathEye的前视超声导管，它用于图像引导下的心血管手术程序。CathEye系统是一种创新的医疗设备，旨在改善心血管手术中的成像技术。

传统的导管手术通常依赖X射线引导，但X射线成像存在软组织对比度低和只能提供三维体积的二维投影图像的局限性。与之相比，CathEye系统使用单元素换能器，通过机械操纵来生成前视表面重建图像，这种技术可以从不规则的二维扫描模式中生成图像。

CathEye导管具有可操纵的导管尖端，通过一个可扩展的框架和电缆来操作，使得导管尖端可以独立于血管的扭曲性进行操作。通过测量电缆的位移来估计导管尖端的位置，并利用单元素换能器创建成像工作空间的表面重建图像。

在实验中，CathEye系统在琼脂模拟体和离体慢性完全闭塞（CTO）样本上进行了测试，导管在各种扭曲路径中被限制。结果显示，无论路径的扭曲程度如何，CathEye都能保持相似的扫描模式，并能够重现成像目标的主要特征，例如孔洞和凸起。

这项研究表明，CathEye系统在前视IVUS成像方面的可行性，并展示了CathEye机制可以应用于其他视野（FOV）受限的成像模式，代表了一种与图像引导完全集成的介入设备的基础。

No.6 Nucleus-Aware Self-Supervised Pretraining Using Unpaired Image-to-Image Translation for Histopathology Images

标题：使用未配对图像到图像翻译的核意识自监督预训练在组织病理学图像中的应用（北航许燕）
标签：计算病理、自监督、非配对图像转换

自监督预训练试图通过从未标记数据中获取有效特征来提高模型性能，并已在组织病理学图像领域证明了其有效性。尽管取得了成功，但很少有研究集中在核水平信息的提取上，而核水平信息对病理分析至关重要。

在这项工作中，我们为组织病理学图像提出了一种新的核意识自监督预训练框架。该框架旨在通过组织病理图像和伪掩膜图像之间的非成对图像转换来捕获核形态和分布信息。

生成过程由条件和随机风格表示调制，确保生成的组织病理学图像用于预训练的真实性和多样性。此外，采用实例分割引导策略捕获实例级信息。

在7个数据集上的实验表明，本文提出的预训练方法在Kather分类、多实例学习和5个迁移学习协议的密集预测任务上优于监督方法，在8个半监督任务上优于其他自监督方法。

No.7 A Multi-Scale Fusion and Transformer Based Registration Guided Speckle Noise Reduction for OCT Images

标题：基于多尺度融合和Transformer的OCT图像斑点噪声降低方法：一种基于配准引导的策略（苏州大学Xinjian Chen）
标签：形变配准，形变场融合，光学相干层析成像，降噪

光学相干层析成像(OCT)是建立在低相干干涉的基础上，不可避免地会受到相干斑噪声的影响。多帧平均是抑制相干斑噪声的有效方法之一。在进行平均之前，必须对图像之间的错位进行校准。为了减少采集过程中图像间的错位，提出了一种基于多尺度融合和变换的可变形视网膜OCT图像配准新方法(MsFTMorph)。

该方法利用卷积视觉变换捕捉全局连通性和局部性，并结合学习全局仿射变换的多分辨率融合策略。与现有配准方法的对比实验表明，该方法具有较高的配准精度。在配准的指导下，后续的多帧平均显示出更好的斑点噪声抑制效果。在抑制噪声的同时，可以保留边缘。此外，我们提出的方法具有很强的跨域泛化能力，可以直接应用于不同扫描仪以不同模式获取的图像。

No.8 OSCNet: Orientation-Shared Convolutional Network for CT Metal Artifact Learning

标题：OSCNet：面向CT金属伪影学习的方向共享卷积网络。（腾讯郑冶枫）
标签：图像重建、伪影消除、旋转先验、方向共享卷积、动态推断

X射线计算机断层扫描(CT)已广泛应用于疾病诊断和图像引导介入治疗的临床应用中。然而，患者体内的金属往往会在恢复的CT图像中造成不利的伪影。

虽然在金属伪影减少(MAR)任务中取得了有希望的重建结果，但现有的大多数基于深度学习的方法都有一定的局限性。关键问题是，这些方法中的大多数都没有充分利用这一特定MAR任务背后的重要先验知识。

在本文中，我们仔细研究了呈现旋转对称条纹图案的金属伪影的固有特征。
我们具体提出了一种方向共享卷积表示机制来适应这种物理先验结构，并利用基于傅立叶级数展开的滤波参数化来建模伪影，从而可以很好地将金属伪影从人体组织中分离出来。
通过采用经典的近邻梯度算法求解模型，然后利用深度展开技术，我们可以很容易地构建相应的方向共享卷积网络，称为OSCNet。
此外，考虑到不同大小和类型的金属会导致不同的伪影模式(例如，伪影的强度)，为了更好地提高伪影学习的灵活性，并充分利用迭代阶段的重建结果进行信息传播，我们设计了一个简单而有效的用于伪影动态卷积表示的子网络。通过将子网络很容易地集成到所提出的OSCNet框架中，我们进一步构造了一个更灵活的网络结构OSCNet+，从而提高了泛化性能。

通过在合成数据集和临床数据集上进行的大量实验，我们全面地证实了我们所提出的方法的有效性。代码将在https://github.com/hongwang01/OSCNet上发布。

No.9 Adversarially Trained Persistent Homology Based Graph Convolutional Network for Disease Identification Using Brain Connectivity

标题：基于对抗性训练的持久同调图卷积网络的脑连通性疾病识别。（青岛大学Qian Dong）
标签：对抗性训练，脑连通性，分类，图形卷积网络，持久同源

大脑疾病的传播与大脑结构和功能连接网络的特征性变化有关。为了识别疾病特定的网络表示，图卷积网络(GCNS)因其强大的图形嵌入能力而被用于表征脑网络的非欧几里德结构。

现有的GCNs一般侧重于学习区分感兴趣区(ROI)特征，往往忽略了重要的拓扑信息，这些信息使得大脑活动的连接体模式能够整合。
此外，大多数方法没有考虑GCNS对大脑网络属性扰动的脆弱性，这大大降低了诊断结果的可靠性。

在这项研究中，我们提出了一种对抗性训练的基于持久同源的图卷积网络(ATPGCN)来捕获特定于疾病的大脑连接组模式并对大脑疾病进行分类。

首先，大脑的功能/结构连接是使用不同的神经成像方式构建的。
然后，我们开发了一种新的策略，将来自大脑代数拓扑分析的持久同源特征与GCN模型的全局池层的读出特征连接起来，以协作学习个体级别的表示。
最后，我们针对临床先验的风险感兴趣区来模拟对抗性扰动，并将它们结合到训练循环中来评估模型的稳健性。

在三个独立的数据集上的实验结果表明，ATPGCN在疾病识别方面优于现有的分类方法，并且对网络结构中的微小扰动具有较强的鲁棒性。

No.10 DTR-Net: Dual-Space 3D Tooth Model Reconstruction From Panoramic X-Ray Images

标题：DTR-Net：从全景 X 光图像重建双空间三维牙齿模型。（上科大沈定刚）
标签：图像重建、3D重建、X光片、牙

在数字牙科中，锥束CT(CBCT)可以提供完整的三维牙齿模型，但长期以来一直存在辐射剂量过高和费用较高的问题。因此，利用二维全景X光图像重建牙齿三维模型具有较高的性价比，在临床应用中引起了极大的兴趣。

在本文中，我们提出了一种新的双空间框架，即DTR-Net，用于从图像和几何空间中的二维全景X射线图像重建三维牙齿模型。

在图像空间中，我们在面向任务的牙齿分割网络的指导下，以协作训练的方式，应用2D到3D的生成模型来恢复CBCT图像的强度。
在几何空间中，我们受益于连续空间中的隐函数网络，学习使用点来捕捉具有几何属性的复杂牙齿形状。

实验结果表明，本文提出的DTR-Net在三维牙齿模型重建中无论在数量上还是在质量上都达到了最先进的水平，表明了它在牙科实践中的潜在应用。

No.11 Clinically-Inspired Multi-Agent Transformers for Disease Trajectory Forecasting From Multimodal Data

标题：从多模式数据中预测疾病轨迹的临床启发多智能体Transformer（芬兰奥卢大学医院神经中心Aleksei Tiulpin）
标签：疾病轨迹

深度神经网络常被应用于医学图像，以实现医学诊断问题的自动化。然而，医生通常面临的一个更具临床相关性的问题是如何预测疾病的未来轨迹。目前的预测或疾病轨迹预测方法通常需要领域知识，应用起来很复杂。

在本文中，我们将预测问题描述为一对多预测问题。受两个代理人：放射科医生和全科医生的临床决策过程的启发，我们用两个相互共享信息的基于Transformer的组件来预测预后。

该框架中的第一个Transformer旨在分析成像数据；
第二个转换器利用其内部状态作为输入，也将它们与辅助临床数据融合。

问题的时间性质在Transformer状态内建模，允许我们将预测问题视为多任务分类，为此，我们提出了一种新的损失。

我们展示了我们的方法在预测结构性膝关节骨关节炎变化的发展和直接从原始多模式数据预测阿尔茨海默病临床状态方面的有效性。所提出的方法在性能和校准方面优于多个最先进的基线，这两者都是现实世界应用所需要的。 Code: https://github.com/Oulu-IMEDS/CLIMATv2

No.12 AIROGS: Artificial Intelligence for Robust Glaucoma Screening Challenge

标题：AIROGS：人工智能促进强有力的青光眼筛查挑战赛（阿姆斯特丹大学Clara I. Sánchez）
标签：青光眼、挑战赛

青光眼的早期发现是预防视力损害的关键。人工智能(AI)可以用来以经济高效的方式分析彩色眼底照片(CFP)，使青光眼筛查变得更容易。虽然用于来自CFP的青光眼筛查的人工智能模型在实验室环境中显示了良好的结果，但由于存在分布不均和低质量的图像，它们在真实世界的场景中的性能显著下降。

为了解决这个问题，我们提出了用于稳健青光眼筛查的人工智能(AIROGS)挑战。这一挑战包括来自大约60,000名患者和500个不同筛查中心的约11.3万张图像的大型数据集，并鼓励开发对无法分级和意外输入数据具有健壮性的算法。

我们评估了本文中来自14个团队的解决方案，发现最好的团队的表现与20名眼科专家和验光师的表现相似。得分最高的团队在接收器操作特征曲线下的区域达到了0.99(95%CI：0.98-0.99)，用于动态检测不可分级的图像。此外，当在其他三个公开可用的数据集上测试时，许多算法显示出稳健的性能。这些结果证明了稳健的人工智能青光眼筛查的可行性。

No.13 Joint Cross-Attention Network With Deep Modality Prior for Fast MRI Reconstruction

标题：基于深度模态先验的联合交叉注意网络快速MRI重建。（上科大沈定刚）
标签：图像重建、快速MRI重建、多模态融合

目前基于深度学习的加速多线圈磁共振成像(MRI)重建模型主要是利用卷积神经网络(CNN)对单模态k空间数据进行次采样。虽然双域信息和数据一致性约束在快速MRI重建中被普遍采用，但现有模型的性能仍然受到三个因素的限制：线圈灵敏度估计不准确、结构先验利用不充分和CNN的归纳偏置。

为了应对这些挑战，我们提出了一个基于展开的联合交叉注意网络，称为jCAN，使用已经获得的受试者内部数据的深度指导。

为了提高线圈灵敏度估计的性能，我们同时优化了潜在磁共振图像和灵敏度图(SM)。
此外，我们将门控层和高斯层引入到SM估计中，以减轻“散焦”和“过耦合”效应，进一步改善SM估计。
为了增强模型的表示能力，我们分别在图像和k空间域中部署了视觉转换器(Vision Transformer, ViT)和CNN。
此外，我们利用预获得的被试内扫描作为参考模态，利用自注意和交叉注意方案指导下采样目标模态的重建。

在公共膝盖和内部大脑数据集上的实验结果表明，对于不同的加速因子和采样掩模，所提出的jCAN在SSIM和PSNR方面都大大优于目前最先进的方法。

Code：https://github.com/sunkg/jCAN .

No.14 RibSeg v2: A Large-Scale Benchmark for Rib Labeling and Anatomical Centerline Extraction

标题：RibSegv2：一种用于肋骨标记和解剖中心线提取的大规模基准。（复旦Ming Li）
标签：图像分割、肋骨分割、肋骨标记、肋骨中心线、点云

肋骨的自动标记和解剖中心线的提取是各种临床应用的共同前提。以前的研究要么使用社区无法访问的内部数据集，要么专注于肋骨分割，忽视了肋骨标记的临床意义。

为了解决这些问题，我们将之前关于二进制肋骨分割任务的数据集(RibSeg)扩展到一个名为RibSeg v2的综合基准测试，该基准包含660次CT扫描(总共15,466根单独的肋骨)和由专家手动检查的注释，用于肋骨标记和解剖中心线提取。

在RibSeg v2的基础上，我们开发了一种基于深度学习的肋骨标记方法和基于骨架化的中心线提取方法。
为了提高计算效率，我们提出了一种CT扫描的稀疏点云表示方法，并与标准的密集体素网格进行了比较。
此外，我们还设计和分析了评估指标，以应对每项任务的关键挑战。

Code：https://github.com/M3DV/RibSeg

No.15 ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer

标题：ReconFormer: 利用递归Transformer加速MRI重建。（JHU Vishal M. Patel）
标签：图像重建、快速MRI重建

加速磁共振成像（MRI）重建过程是一个具有挑战性的病态逆问题，因为在k空间中存在过度的欠采样操作。

在本文中，我们提出了一种用于MRI重建的循环Transformer模型，即ReconFormer，它可以迭代地从高度欠采样的k空间数据（例如，高达8倍加速）重建高保真的磁共振图像。

所提出的架构建立在循环金字塔变换器层（Recurrent Pyramid Transformer Layers，简称RPTLs）之上。所提出方法的核心设计是循环尺度注意力（Recurrent Scale-wise Attention，简称RSA），它在每个架构单元中共同利用内在的多尺度信息以及通过循环状态的深度特征相关性的依赖。

此外，得益于其循环特性，与其它基线相比，ReconFormer是轻量级的，并且只包含1.1M个可训练参数。我们在多个不同磁共振序列的数据集上验证了ReconFormer的有效性，并展示了它在参数效率上比最先进的方法取得了显著的改进。

code: https://github.com/guopengf/ReconFormer

No.16 Self-Supervised Multi-Scale Cropping and Simple Masked Attentive Predicting for Lung CT-Scan Anomaly Detection

标题：基于自监督多尺度裁剪和简单掩模焦点预测的肺部CT扫描异常检测。(港中文深圳张大鹏)
标签：异常检测、自监督学习

针对医学图像的异常检测，通过训练一个仅使用正常数据的异常检测器进行了广泛的探索。然而，在没有先验异常类型知识的情况下检测局部和细微的异常给肺部ct扫描图像异常检测带来了挑战。

在本文中，我们提出了一个自监督框架，通过多尺度裁剪和简单的掩模关注预测来学习肺部CT扫描图像的表示，该框架能够构建一个强大的异常检测器。

首先，我们提出了CropMixPaste，这是一个自监督增强任务，用于生成密度阴影样异常，从而鼓励模型检测肺部CT扫描图像的局部不规则性。
然后，我们提出了一个自监督重构块，命名为简单掩蔽关注预测块(SMAPB)，通过预测掩蔽上下文信息来更好地提炼局部特征。
最后，利用从自监督任务中学习到的表征来构建异常检测器。
在真实肺部ct扫描数据集上的结果表明，与目前最先进的方法相比，我们提出的方法具有有效性和优越性。