CVPR 2021 论文大盘点-医学影像篇

关注公众号，发现CV技术之美

本文总结医学影像相关论文，包含医学图像分割、医学图像合成、X射线检测等。共计 22 篇。

大家可以在：

https://openaccess.thecvf.com/CVPR2021?day=all

按照题目下载这些论文。

如果想要下载所有CVPR 2021论文，请点击这里：

CVPR 2021 论文开放下载了！

医学图像分割

DoDNet: Learning to segment multi-organ and tumors from multiple partially labeled datasets

文中提出 DoDNet，一个具有动态头的单一编码器-解码器网络，用来解决腹部 CT 扫描中多器官和肿瘤分割的部分标记问题。还创建一个大规模部分标记数据集MOTS，并对它进行了广泛的实验。

结果表明，受益于任务编码和动态滤波学习，DoDNet 不仅在七个器官和肿瘤分割任务上取得了最佳的整体性能，而且推理速度也高于其他竞争对手。另外，还证明了 DoDNet 和 MOTS 数据集的价值，并成功地将在 MOTS 上预训练的权重迁移到只有有限标注的下游任务中。也表明这项工作的副产品（即预训练的网络）有利于其他小样本的三维医学图像分割任务。

作者 | Jianpeng Zhang, Yutong Xie, Yong Xia, Chunhua Shen

单位 | 西北工业大学；阿德莱德大学

论文 | https://arxiv.org/abs/2011.10217

代码 | https://github.com/jianpengz/DoDNet

数据集 | https://github.com/aim-uofa/partially-labelled

FedDG: Federated Domain Generalization on Medical Image Segmentation via Episodic Learning in Continuous Frequency Space

本次工作，作者指出并解决了 federated domain generalization（联邦域泛化，FedDG）这一新的问题设置，其目的是从多个分布式源域中学习一个联盟模型，使其能够直接泛化到未见过的目标域中。

所提出方法称为 Episodic Learning in Continuous Frequency Space（ELCFS），使每个客户端能够在数据分散的挑战性约束下利用多源数据分布。它通过有效的连续频率空间插值机制，以保护隐私的方式在客户端之间传输分布信息。

通过迁移的多源分布，进一步设计一个面向边界的 episodic learning 范式，使局部学习暴露于域分布的变化，特别是满足医学图像分割场景中模型泛化的挑战。该方法在两个医学图像分割任务中的表现优于SOTA。

作者 | Quande Liu, Cheng Chen, Jing Qin, Qi Dou, Pheng-Ann Heng

单位 | 香港中文大学；香港理工大学

论文 | https://arxiv.org/abs/2103.06030

代码 | https://github.com/liuquande/FedDG-ELCFS

DiNTS: Differentiable Neural Network Topology Search for 3D Medical Image Segmentation

本次的工作重点是专注于三维医学图像分割中 NAS 的三个重要方面：灵活的多路径网络拓扑结构、高搜索效率和预算的GPU内存使用。提出一种新型的可微网络拓扑搜索方案 DiNTS，支持更灵活的拓扑结构和联合两级搜索。提出一种拓扑保证的离散化算法和搜索阶段的离散化感知拓扑损失，以最小化离散化差距。开发一种内存感知的搜索方法，它能够搜索具有不同GPU内存要求的3D网络。

与基于 NAS 的 C2FNAS 相比，实现了新的SOTA，并在 MSD 挑战排行榜上名列前茅，同时只花费了 1.7% 的搜索时间。

作者 | Yufan He, Dong Yang, Holger Roth, Can Zhao, Daguang Xu

单位 | 约翰斯·霍普金斯大大学；NVIDIA

论文 | https://arxiv.org/abs/2103.15954

备注 | CVPR2021 oral

DARCNN: Domain Adaptive Region-based Convolutional Neural Network for Unsupervised Instance Segmentation in Biomedical Images

DARCNN，一种用于无监督实例分割的两阶段特征级适应和图像级伪标签方法。利用丰富的标记基准数据集，对无标记的生物医学图像进行域适应。DARCNN 解决了普通对象和生物医学对象之间的巨大域迁移，并且可以在具有一致背景的不同数据集上使用。通过域分离模块、表征一致性损失和增强的伪标签，在多个实验中取得了强大的性能。

作者 | Joy Hsu, Wah Chiu, Serena Yeung

单位 | 斯坦福大学

论文 | https://arxiv.org/abs/2104.01325

Every Annotation Counts: Multi-label Deep Supervision for Medical Image Segmentation

作者 | Simon Reiß, Constantin Seibold, Alexander Freytag, Erik Rodner, Rainer Stiefelhagen

单位 | 卡尔斯鲁厄理工学院；卡尔·蔡司股份公司等

论文 | https://arxiv.org/abs/2104.13243

Learning Calibrated Medical Image Segmentation via Multi-rater Agreement Modeling

在医学图像分析中，典型的做法是收集多个标注，每个标注都来自不同的临床专家或评分者，减少可能出现的诊断误差。同时，从计算机视觉从业者的角度来看，通常的做法是采用通过多数票或简单地从首选评分者那里获得的基础ground-truth 标签。但这一过程往往忽略了原始的多评判员标注中所蕴含丰富的一致或分歧信息。

针对此，提出一个新的模型，MRNet。首先，设计一个expertiseaware inferring 模块或 EIM，将各个评分者的专业水平作为先验知识嵌入其中，以形成高层次的语义特征。其次，该方法能够从粗略的预测中重建多评判者的等级，并进一步利用多评判者（不）一致的线索来提高分割的性能。

作者称这是首个在不同专业水平下为医学图像分割产生校准预测的工作。并在不同成像模式的五个医学分割任务中进行了广泛的经验性实验。结果表明，MRNet 与最先进的技术相比，性能卓越，也验证了 MRNet 在广泛的医学分割任务中的有效性和适用性。

作者 | Wei Ji、Shuang Yu、Junde Wu、Kai Ma、Cheng Bian、 Qi Bi、Jingjing Li、Hanruo Liu、Li Cheng、 Yefeng Zheng

单位 | 腾讯天衍实验室；阿尔伯塔大学；首都医科大学

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Ji_Learning_Calibrated_Medical_Image_Segmentation_via_Multi-Rater_Agreement_Modeling_CVPR_2021_paper.pdf

代码 | https://github.com/jiwei0921/MRNet/

clDice - a Novel Topology-Preserving Loss Function for Tubular Structure Segmentation

用于管状结构分割的新型拓扑保持的损失函数

作者 | Suprosanna Shit、Johannes C. Paetzold 、Anjany Sekuboyina、 Ivan Ezhov、Alexander Unger、Andrey Zhylka、Josien P. W. Pluim、 Ulrich Bauer、Bjoern H. Menze

单位 | 慕尼黑工业大学；埃因霍芬理工大学

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Shit_clDice_-_A_Novel_Topology-Preserving_Loss_Function_for_Tubular_Structure_CVPR_2021_paper.pdf

医学图像合成

Brain Image Synthesis with Unsupervised Multivariate Canonical CSCℓ4Net

文中提出一种新型的多变量典型 CSCℓ4Net 方法，用于医学图像的跨模态合成。

作者称这是首项通过对无监督的多变量 CSCℓ4Net 网络进行建模来生成有解剖学意义的图像的工作。

作者 | Yawen Huang, Feng Zheng, Danyang Wang, Weilin Huang, Matthew R. Scott, Ling Shao

单位 | 码隆科技；南方科技大学；起源人工智能研究院

论文 | https://arxiv.org/abs/2103.11587

备注 | CVPR2021 oral

手术技能评估

Towards Unified Surgical Skill Assessment

文中提出一个统一的多路径自动外科技能评估框架，兼顾到外科技能的多个组成方面，包括外科工具的使用、术中事件模式和其他技能代理。创建一个新的临床手术数据集，并在新的临床数据集和模拟的JIGSAWS数据集上进行了广泛的实验，以证明所提出框架的有效性。

作者 | Daochang Liu, Qiyue Li, Tingting Jiang, Yizhou Wang, Rulin Miao, Fei Shan, Ziyu Li

单位 | 北大；北京大学肿瘤医院等

论文 | https://arxiv.org/abs/2106.01035

代码 | https://github.com/Finspire13/Towards-Unified-Surgical-Skill-Assessment

数据集

Multiple Instance Captioning: Learning Representations from Histopathology Textbooks and Articles

ARCH，迄今为止最大的病理图像多实例字幕数据集，也是唯一能与计算机视觉模拟 MS-COCO Captions 相媲美的 CP 数据集（ARCH-）。通过实验验证了在 ARCH 中对密集的图像字幕进行预训练，可以为大多数 CP 任务学习可迁移的表征这一猜想。

作者 | Jevgenij Gamper, Nasir Rajpoot

单位 | 华威大学

论文 | https://arxiv.org/abs/2103.05121

放射线报告生成

A Self-boosting Framework for Automated Radiographic Report Generation

文中提出一个 self-boosting 框架，它基于报告生成的主要任务和图像-文本匹配的辅助任务的合作，可以改善放射学报告的生成。

作者 | Zhanyu Wang、Luping Zhou、Lei Wang、Xiu Li

单位 | 悉尼大学；伍伦贡大学；清华大学深圳国际研究生院

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Wang_A_Self-Boosting_Framework_for_Automated_Radiographic_Report_Generation_CVPR_2021_paper.pdf

Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation

文中提出一种有效的探索和蒸馏后验和先验知识的方法来生成放射学报告，它模仿了放射科医生的工作模式，以缓解数据偏差问题。并在 MIMIC-CXR 和IU-Xray 数据集上的实验和分析验证了这一论点，以及该方法的有效性。

具体来说，所提出方法不仅生成了有意义的、鲁棒的、有准确的异常描述和区域支持的放射学报告，而且在这两个公共数据集上的表现也超过了以前的最先进模型。

作者 | Fenglin Liu, Xian Wu, Shen Ge, Wei Fan, Yuexian Zou

单位 | 北大；腾讯医疗AI实验室；鹏城实验室

论文 | https://arxiv.org/abs/2106.06963

MR图像重建

Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning

多机构合作，利用联邦学习改进基于深度学习的磁共振图像重建技术

作者 | Pengfei Guo, Puyang Wang, Jinyuan Zhou, Shanshan Jiang, Vishal M. Patel

单位 | 约翰斯·霍普金斯大学

论文 | https://arxiv.org/abs/2103.02148

代码 | https://github.com/guopengf/FL-MRCM

MR Image Super-Resolution with Squeeze and Excitation Reasoning Attention Network

SERAN，全称 squeeze and excitation reasoning attention network，用于快速和准确的 MR 图像超分辨率，并且是首个研究语义推理注意力在 MR 图像 SR 上的工作。大量的实验从数量上（如PSNR/SSIM，模型大小和运行时间）和质量上证明了所提出的 SERAN方法 比其他领先的基于 CNN 的图像SR 方法的优势。

作者 | Yulun Zhang、Kai Li、Kunpeng Li、Yun Fu

单位 | 东北大学（美）

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_MR_Image_Super-Resolution_With_Squeeze_and_Excitation_Reasoning_Attention_Network_CVPR_2021_paper.pdf

Joint Deep Model-based MR Image and Coil Sensitivity Reconstruction Network (Joint-ICNet) for Fast MRI

文中提出一个基于深度模型的 MR 图像和线圈灵敏度的联合重建网络，Joint-ICNet，可以从欠采样的多线圈K空间数据中联合重建MR图像和线圈灵敏度图。通过对各种 MR 图像和还原因子的实验表明，与传统的基于 PI 和最先进的基于深度学习的重建方法相比，所提出的 Joint-ICNet 在重建 MR 图像方面表现出卓越的性能。以及 Joint-ICNet 可以应用于各种 MRI 应用，以减少扫描时间。

作者 | Yohan Jun 、Hyungseob Shin 、Taejoon Eo 、Dosik Hwang

单位 | 延世大学

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Jun_Joint_Deep_Model-Based_MR_Image_and_Coil_Sensitivity_Reconstruction_Network_CVPR_2021_paper.pdf

关键点检测与跟踪

Reciprocal Landmark Detection and Tracking with Extremely Few Annotations

文中提出一种互为关键点的检测和跟踪模型，旨在解决超声序列的数据和标注稀缺的问题。仅用约 2000 个标注帧（995个序列）进行训练，实现了可靠的关键点检测和跟踪。对于每个序列，只有两个关键帧被标注。它还通过一种新的对抗性训练方式进行了优化，可以更好地利用训练数据的有限信息。通过与先进技术的比较以及对结果的分析验证了所提出的方法的有效性。

作者 | Jianzhe Lin, Ghazal Sahebzamani, Christina Luong, Fatemeh Taheri Dezaki, Mohammad Jafari, Purang Abolmaesumi, Teresa Tsang

单位 | 不列颠哥伦比亚大学

论文 | https://arxiv.org/abs/2101.11224

DeepTag: An Unsupervised Deep Learning Method for Motion Tracking on Cardiac Tagging Magnetic Resonance Images

文章提出一种新型的 bi-directional unsupervised diffeomorphic registration （双向无监督差分配准）网络来跟踪 t-MRI 图像上的区域心肌运动。将拉格朗日运动追踪分解为一连串的 INF 运动追踪，并使用全局约束来纠正不合理的 INF 运动估计。并在临床 t-MRI 数据集上的实验结果验证了该方法的有效性和效率。

作者 | Meng Ye, Mikael Kanski, Dong Yang, Qi Chang, Zhennan Yan, Qiaoying Huang, Leon Axel, Dimitris Metaxas

单位 | 罗格斯大学；英伟达等

论文 | https://arxiv.org/abs/2103.02772

代码 | 

https://github.com/DeepTag/cardiac_tagging_motion_estimation

备注 | CVPR 2021 oral 

X光检测

XProtoNet: Diagnosis in Chest Radiography with Global and Local Explanations

XProtoNet是一个用于胸部X光摄影的自动诊断框架，可以确保类比人类的可解释性以及高性能。XProtoNet不仅可以为给定的X射线图像提供局部解释，还可以为每种疾病提供全局解释，这是其他诊断方法所不能提供的。尽管有可解释性要求的限制，但它通过预测可能发现疾病代表特征的动态区域，实现了最先进的诊断性能。

作者 | Eunji Kim, Siwon Kim, Minji Seo, Sungroh Yoon

单位 | 首尔大学；

论文 | https://arxiv.org/abs/2103.10663

Leveraging Large-Scale Weakly Labeled Data for Semi-Supervised Mass Detection in Mammograms

利用大规模的弱标记数据进行半监督乳房X光片质量检测

作者 | Yuxing Tang、Zhenjie Cao、Yanbo Zhang、Zhicheng Yang、 Zongcheng Ji、Yiwei Wang、Mei Han、Jie Ma、Jing Xiao、Peng Chang

单位 | PAII Inc；深圳市人民医院；平安科技

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Tang_Leveraging_Large-Scale_Weakly_Labeled_Data_for_Semi-Supervised_Mass_Detection_in_CVPR_2021_paper.pdf

其它

3D Graph Anatomy Geometry-Integrated Network for Pancreatic Mass Segmentation, Diagnosis, and Quantitative Patient Management

用纯多模态 CT 影像可替代目前 JHMI 的需要做肿瘤化学检测和 DNA 测序+医学影像的综合多模态诊断流程，从诊断准确度上有可比较性，定量诊断精度更优

作者 | Tianyi Zhao, Kai Cao, Jiawen Yao, Isabella Nogues, Le Lu, Lingyun Huang, Jing Xiao, Zhaozheng Yin, Ling Zhang

单位 | 平安科技（美国）；石溪大学；上海长海医院；哈佛大学；平安科技（深圳）

论文 | https://arxiv.org/abs/2012.04701

Deep Lesion Tracker: Monitoring Lesions in 4D Longitudinal Imaging Studies

肿瘤影像里面智能 PACS 辅助医生读片的重要功能

Deep Lesion Tracker (DLT）是一种同时使用基于外观和解剖学信号的深度学习方法。

作者 | Jinzheng Cai, Youbao Tang, Ke Yan, Adam P. Harrison, Jing Xiao, Gigin Lin, Le Lu

单位 | 平安科技（美国）；平安科技（深圳）；長庚紀念醫院

论文 | https://arxiv.org/abs/2012.04872

代码 | https://github.com/JimmyCai91/DLT

Automatic Vertebra Localization and Identification in CT by Spine Rectification and Anatomically-constrained Optimization

基于CT 影像的骨折/骨质疏松诊断系统

作者 | Fakai Wang,Kang Zheng,Le Lu,Jing Xiao,Min Wu,Shun Miao

单位 | 平安科技（美国）；马里兰大学；平安科技（深圳）

论文 | https://arxiv.org/abs/2012.07947

- END -

编辑：CV君

转载请联系本公众号授权

入群👇备注：医学影像