MICCAI 2022 | 深圳大学医学部智能超声实验室6篇论文分享！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—> CV 微信技术交流群

MICCAI是智能医学影像分析领域公认的老牌国际顶级会议（International Conference on Medical Image Computing and Computer Assisted Intervention），包括医学影像计算（MIC）和计算机辅助介入 （CAI）两个领域。MIC 的研究内容包括人工智能、图像分割与配准、计算机辅助诊断、临床和生物医学应用。CAI 主要包括追踪和导航、介入式影像、智能医疗手术机器人等。MICCAI 会议每年的录取率仅约30%， MICCAI 2022将于新加坡举办。   

   

在 MICCAI 2022 上，深圳大学医学部生物医学工程学院倪东教授团队的智能超声影像分析实验室（Lab of Medical UltraSound Image Computing, MUSIC）有六篇论文被接收。为更好地分享相关研究工作，给予实验室学生充分的展示锻炼机会，广泛接受同行专家的建议与反馈，MUSIC Lab准备了本次线上论文分享。六篇论文围绕智能化超声影像分析的多个基础和前沿方向，概要信息如下：

报告时间：	2022年7月9日晚（星期六）19:00 - 21:00（北京时间）
报告主题：	1. 基于深度运动网络的自由式三维超声影像重建 2. 基于精细化相关性损失的医学图像回归方法研究 3. 基于在线反思学习的医学影像分割稳健性研究 4. 基于弱监督和纹理解耦的高逼真度超声视频合成 5. 基于多视图超声影像的甲状腺结节个性化诊断 6. 基于切线建模和先验感知的强化学习三维超声切面定位
主持人：	倪东教授（深圳大学），杨鑫博士（深圳大学），黄若冰博士（深圳大学）
线上分享链接：	https://live.bilibili.com/23407664
录播回看地址：	https://space.bilibili.com/616429598?spm_id_from=333.1007.0.0

线上分享报告二维码

1. 基于深度运动网络的自由式三维超声影像重建

Deep Motion Network for Freehand 3D Ultrasound Reconstruction

论文链接：https://arxiv.org/abs/2207.00177

论文作者：骆明远，杨鑫，王宏璋，杜黎伟，倪东*

三维超声影像由于直观的视觉效果、易于交互和丰富的临床信息而被广泛使用。三维超声影像的获取方式分为三类：机械探头、电子相控阵和自由式扫查。相比于机械探头和电子相控阵，自由式扫查更加灵活和简单，它通过计算一系列超声图像的相对位置来重建三维容积（如图1.1所示）。目前这一领域内的研究方法摆脱了以往获取高精度位置信息必需的复杂昂贵的外部定位系统。然而，提高重建精度仍然很困难，因为这些方法主要依靠图像来推断相对位置，而图像之间高程位移的估计和漂移误差的累积使得三维重建非常具有挑战性。

本研究提出了一个新颖的深度运动网络 MoNet（图1.2），通过集成称为惯性测量单元（Inertial Measurement Unit, IMU）的轻量级传感器，并在测试阶段进行多模态在线自监督来应对上述挑战。本工作的主要创新点贡献如下：

• 首次引入惯性测量单元的加速度信息（Acceleration）来帮助高程位移估计，以提高三维重建的准确性；

• 设计了一种时序多分支结构来挖掘低信噪比（Signal-to-Noise Ratio）加速度的有价值信息；

• 提出了一种多模态在线自监督策略，利用惯性测量单元的信息作为弱标签进行自适应优化，以减少漂移误差并进一步改善加速度噪声的影响。

在多个超声视频影像数据集上的实验，验证了结合惯性测量单元的深度运动网络在精确重建、降低漂移误差等方面的优越性（表1.1）。

       图1.1 三维超声影像重建任务示意图（左：二维超声扫查；中：超声图像序列；右：重建三维超声容积）   

   图1.2 本工作所提出的深度运动网络（MoNet）   

   表1.1 不同重建方法在两个超声数据集上的评估指标平均值（标准差）

2. 基于精细化相关性损失的医学图像回归方法研究

Fine-grained Correlation Loss for Regression

论文链接：https://arxiv.org/abs/2207.00347

论文作者：陈超宇，杨鑫，黄若冰，胡歆迪，黄彦凯，陆喜多，周心睿，骆明远，叶胤妤，双雪，缪居正，熊奕，倪东*

回归学习（Regression）是医学影像分析中最经典和基础的任务。它为许多关键应用提供了连续的映射，如属性估计、分割、配准等。然而，以往的研究主要将基于独立个体的指标作为优化目标（如均方误差），而忽略了非常重要的样本间的相关性和秩序。然而，相关性正是许多回归任务的最终评估指标。

本研究主要探索了两个互补的相关性指标作为可学习的损失函数来直接优化回归学习，以提升回归模型的预测结果相关性（图2.1）：皮尔逊线性相关（Pearson Linear Correlation，PLC）和斯皮尔曼秩序相关（Spearman Rank Correlation）。本工作的主要贡献如下：

• 提出在 PLC 损失函数中动态定义“异常样本”，同时优化批量样本的分布因子（均值和方差），以保证训练的稳定性和高效性；

• 将不可微分的秩序相关学习转化为一种新颖的样本间的相似性学习；

• 提出一种从粗到细的样本秩序相关性的学习方案（图2.2）：在粗略排序阶段区分全局的不相似样本间秩序，在细致排序阶段关注局部相似样本间秩序。

在两种典型的超声图像回归任务中（图像质量评估和结构指标测量），验证了本方案提出的直接优化细粒度相关损失方案的优越性（表2.1、图2.3）。

   图2.1 本工作提出的直接优化细粒度相关损失的学习框架   

   图2.2 由粗到细的优化秩序相关性的策略   

   表2.1 不同方案在两种超声图像回归任务上的评估结果平均值（标准差）   

   图2.3 不同损失函数优化后预测样本的tSNE分布。本文方法结果具备明显、正确的分布秩序

3. 基于在线反思学习的医学影像分割稳健性研究

Online Reflective Learning for Robust Medical Image Segmentation

论文链接：https://arxiv.org/abs/2207.00476

论文作者：黄雨灏，杨鑫，黄晓琼，梁嘉敏，周心睿，陈城，窦浩然，胡歆迪，曹艳，倪东*

深度学习在医学影像分割的任务中取得了巨大的成功。但是，在临床中，不同厂商的数据通常呈现出不同的灰度分布特点（图3.1）而且模型往往要以固化的训练结果应对万变的临床影像情况变化。这种训练和测试数据间存在的严重分布漂移问题，会导致深度模型性能严重下降。因此，提升深度分割模型的稳健性，对于其在临床真实环境中的可靠部署是尤为重要的。

本研究提出了一个新颖的在线反思学习的框架（RefSeg），通过在测试阶段的自适应迭代循环，不断修正分割结果，以提升分割模型的稳健性（图3.2）。RefSeg是受人类对于“如何认识并反思分割错误从而进行完善”的直觉而提出的。具体而言，基于原图像的分割预测结果，人类通常能通过反向重建，重建出一个想象的代理图像（Proxy Image）--若分割完美，则代理图像和输入图像会有较高的结构相似度；反之，若分割失败，这个代理图像则会有非常明显的缺陷。

基于行动后反思（reflection-on-action）的设想，RefSeg测试过程如下（可视化例子见图3.3）：

• 首先，输入一张测试图像，RefSeg驱动分割网络通过“行动”，输出一个分割结果；

• 然后，基于当前分割结果以及输入图像的边缘信息，RefSeg通过合成网络会生成一张代理图像，以提供丰富的参考信息；

• 通过对比输入和代理之间的结构化差异，RefSeg鼓励深度网络进行自我“反思”，认识到分割的错误并自适应地迭代调整，最终得到一个较好的分割结果。

在心脏核磁公开数据集（M&Ms竞赛），以及两个超声数据集（DDH和胎儿头部）上验证，RefSeg仅基于Unet均取得了最优的结果（优于经典的nn-Unet），证明了其具有较好的稳健性（M&Ms数据集结果见表3.1）。

   

图3.1 来自不同超声供应商的数据集（Ven A-D: 心脏核磁，Ven E-F：胎儿髋关节发育不良，Ven G-H：胎儿头部）

   

图3.2 基于在线学习的RefSeg整体框架

   

图3.3 M&Ms 数据上的测试结果可视化

表3.1 不同方法在M&Ms数据集的指标平均值（标准差）

4. 基于弱监督和纹理解耦的高逼真度超声视频合成

Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling

论文链接：https://arxiv.org/abs/2207.00474

论文作者：梁嘉敏，杨鑫，黄雨灏，刘锴，周心睿，胡歆迪，林泽慧，罗欢嘉，张元吉，熊奕，倪东*

超声在临床上广泛使用，但由于在患者模式下进行大量超声视频练习是不切实际的。因此对新手超声医师来说难以在短时间内掌握所需的技能。利用大量模拟合成的超声视频序列，能加快他们的培训进程。目前领域内暂无超声视频合成方法，高清、逼真的视频合成方法则具备更大挑战。因此本研究的目标是快速高效地合成高逼真度及高动态变化的超声视频序列。

本研究提出了通过将驱动视频（Driving Video）的运动状态转移到源图像（Source Image）的方式（图4.1），合成大量新的、可控状态的高清超声视频序列，实现了快速高效的合成。方法框图如图4.2所示，本工作的主要贡献如下：

• 提出了一种加入关键点检测的弱监督方式混合训练，为合成超声视频中复杂的高动态运动提供了重要保证；

• 引入双解码器将内容和纹理学习进行有效解耦，有效降低了合成模型的学习难度；

• 采用全局对抗性训练策略，进一步提高生成超声视频的清晰度。

在女性盆底超声视频影像数据集上进行了实验验证，在定性和定量结果上均获得了较好表现（图4.1和表4.1）。

   图4.1 超声视频合成任务示意图

   

   图4.2 本工作所提出的基于弱监督及纹理解耦的框架图   

   表4.1 不同方法的定量评估结果

5. 基于多视图超声影像的甲状腺结节个性化诊断

Personalized Diagnostic Tool for Thyroid Cancer Classification using Multi-view Ultrasound

论文链接：https://arxiv.org/abs/2207.00496

论文作者：黄涵，董屹婕，贾晓红，周建桥，倪东，程君*，黄若冰*

深度模型被广泛应用在甲状腺结节辅助诊断任务上。然而，已有的方法仅基于甲状腺超声横切图像进行建模，与临床上综合横切和纵切视图进行诊断的实际不符。目前在医学图像的多视图研究中，大都采用无差别对待所有视图的策略。然而，甲状腺的外观和病变区域在不同的个体之间有很大的差异，且不同视图所包含的诊断信息有所不同。因此，深度模型应该根据每个患者的不同情况，在预测时有侧重地关注不同视图的信息。

本研究提出了一种个性化自动加权方法（见图5.1），实现在多视图超声图像上的甲状腺结节分类。该方法根据每个视图的不同情况，自动对不同视图的诊断重要性进行量化，并基于患者层面定制个性化诊断方案。本工作的主要贡献如下：

• 基于深度学习框架，智能化提取和融合超声多视图影像的信息进行甲状腺结节诊断；

• 提出个性化权重分配网络，为每位患者定制多视图权重，且以端到端的形式进行训练，无需额外监督信号；

• 设计一种自监督视图感知对比损失，基于视图权重考虑患者组内差异，进一步提高模型性能。

在大量且具备实际临床复杂度的甲状腺超声数据集上进行验证，所提个性化加权方法的性能优于单视图方法和其他多视图方法（表5.1）。   

图5.1 本工作提出的多视图网络框架

   

表5.1 单视图方法和不同多视图方法在甲状腺超声数据集上的评估结果

6. 基于切线建模和先验感知的强化学习三维超声切面定位

Agent with Tangent-based Formulation and Anatomical Perception for Standard Plane Localization in 3D Ultrasound

论文链接：https://arxiv.org/abs/2207.00475

论文作者：邹玉欣，窦浩然，黄雨灏，杨鑫，钱继宽，甄朝炯，纪晓丹，Nishant Ravikumar，陈国强，黄伟俊，Alejandro F. Frangi，倪东*

与二维超声成像相比，三维超声可以通过单次扫描提供完整且丰富的多视图信息。三维超声对子宫异常的临床诊断尤为重要，因为超声医师可通过三维超声获取二维超声无法获得的额外标准切面（如子宫冠状面）。由于三维超声的巨大搜索空间和方向可变性，手动定位标准切面（Standard Plane）是费力且依赖临床医生经验的。因此，临床非常希望开发一种在三维超声中自动定位标准切面的方法。

近年来，强化学习 (Reinforcement Learning，RL) 通过其特定的奖励机制和交互式规划在解决标准切面定位问题上显示出巨大的潜力。然而，目前用于三维数据标准切面定位的RL框架大多依赖预先配准来保证数据方向的一致性，无法应对更为复杂的应用环境和提供端到端的解决方案。为了解决上述问题，我们提出了一种全新的强化学习框架（见图6.1），用于三维超声中进行标准切面的自动定位：

• 将基于传统三维平面的参数建模重新定义为基于切点的搜索问题（图6.2），以重构动作空间并显著减少搜索空间；

• 设计了一种辅助任务学习策略，以增强模型在平面搜索中对非标准切面和标准切面的区分能力；

• 提出了一种新的空间解剖结构奖励，通过同时利用空间和解剖结构信息来有效地指导搜索轨迹。

我们在多个部位的多个标准切面上进行了验证。实验表明（表6.1和图6.3），我们的方法相较于以往的强化学习方法，取得了更高的精度和鲁棒性。

      图6.1 基于强化学习的标准切面定位框架（SLR：空间位置奖励；ASR：解剖结构奖励）   

   图6.2 我们的建模（底部）和之前建模（顶部）比较。以前的建模通过调整方向余弦和到原点的距离来控制平面运动。我们通过平移切点的坐标来控制平面运动。   

   表6.1 不同方法对比实验的评估指标平均值（标准差）   

   图6.3 三维超声切面的自动定位结果可视化展示

作者介绍

指导老师介绍

团队介绍

深圳大学医学部医学超声影像计算实验室（Lab of Medical UltraSound Image Computing, MUSIC）孵化于深圳大学医学超声关键技术国家地方联合工程实验室。实验室十余年来一直聚焦于医学超声影像分析相关的基础与前沿研究，在智能产科超声等领域取得了重要研究成果。实验室目前共有教授1名，副教授2名，助理教授3名，研究员1名，博士研究生4人，研究助理2名，以及硕士研究生50余人。MUSIC实验室常年招收相关方向的硕士研究生、博士和博士后，也欢迎有志于智能医学影像分析的本科生前来实习交流。团队一直坚持成员前途至上的理念，诚挚欢迎志同道合、才华横溢的同学加入。

医学图像交流群成立
扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如医学图像+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信: CVer6666，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看