荣登Nature！【AI+医学】成2024大热门

AI技术在医学领域的应用正迅速发展，2024年Nature和Nature Medicine联合举办了以“人工智能与医疗健康交融”为主题的会议，许多顶级会议和期刊上亦有不少相关研究的论文发表。

沃的顶会精心汇总了24篇【AI+医学】顶会顶刊必读论文，希望能给各位的论文发表提供一些帮助。

1、用于临床诊断的基于Transformer的多模态统一表示学习模型

A transformer-based representation learning model with unified processing of multimodal input for clinical diagnostics（nature）

方法：IRENE总体框架的多模态数据由五部分组成：胸部X光片、患者主诉（包括当前症状和过往病史）、实验室检测结果、患者的性别和年龄。首先，多模态数据基于嵌入层被转换为视觉tokens和文本tokens；接着，由2层双向多模态注意力模块和10层自注意力模块获得具有模态内和模态间关联的多模态统一表示用于肺部疾病识别和预测新冠肺炎患者的不良临床结果任务。

创新点：

1）IRENE模型使用单一统一的变换器来进行多模态诊断，消除了繁琐的文本结构化流程，以及传统非统一方法中的特定模态特征提取和多模态特征融合模块。这提供了一种有效的方式来处理和整合不同类型的数据，为多模态数据的联合学习提供了新的思路。

3）此外，双向模态间注意力机制来处理标记化的多模态数据，以利用互补模态之间的局部连接。这种注意力机制使模型能够更好地抓住和编码不同模态间的局部模式的相互连接，进一步提高了多模态学习的能力。

需要的同学添加公众号【沃的顶会】 回复 医学24 即可全部领取

2、新冠疫情期间用于实时医用口罩检测的目标检测模型和优化的回顾和实现

A Review and Implementation of Object Detection Models and Optimizations for Real-time Medical Mask Detection during the COVID-19 Pandemic

方法：本文从内存消耗、计算和存储成本以及速度/准确性权衡的角度评估对象检测模型。这些模型包括具有两种不同骨干和图像大小的FasterR-CNN、MaskR-CNN、RetinaNet、SsD及其内存高效版本SSDlite、带有SPP和小型变体的YOLOv3、YOLOv4以及包括大型、中型、小型和纳米变体的YOLOv5。对于所有模型，均使用了相同的框架、数据集和GPU。接下来，我们选择了一个名为YOLOv5 的非常高效的模型，在医学口罩、正确佩戴口罩的人脸数据集(PWMFD)上进行训练，并分析了特定优化技术(迁移学习、数据增强和 Squeeze-and-Excitation 注意力机制)在实时医学口罩检测方面的优势。

创新点：

1）本文评估了最基本的对象检测模型在 Common ObjectsinContext(coco)数据集上的速度/准确性权衡，它们的内存消耗，以及计算和存储成本。

2）利用研究结果，提出了一种基于YOLov5s的优化模型，使用迁移学习来检测正确和错误佩戴的医用口罩，在PWMFD数据集上比最先进的模型SE-YOLOv3快两倍多(每秒69帧)，同时保持相同的平均精度水平(67%)。

需要的同学添加公众号【沃的顶会】 回复 医学24 即可全部领取

3、多模态融合用于医学图像分割的深度学习综述

A review: Deep learning for medical image segmentation using multi-modality fusion

方法：总体而言，本次范围界定文献综述遵循了PRISMA准则和Arksey等人提出的范围界定审查方法框架。我们旨在解决下列研究问题：① 基于lmageNet的模型对于哪些医疗任务是有效的？预测任务是名义型的还是数值型的？② 数据类型是什么？要达到令人满意的性能所需的数据集大小是多少？是否需要进行数据增强？③ 最流行的迁移学习方法是什么？④ 哪些基于lmageNet的模型最流行？是否有任何其他分类器，完全连接层用于最终的分类任务？⑤ 在每项研究中取得的最佳表现是什么？其他训练有素的CNN模特在这项特定任务中的表现如何？⑥ 对于哪些问题，研究人员已经能够使用可视化技术提供解释？

创新点：

1）系统地回顾了在非医学 lmageNet 数据集上使用训练有素的CNN模型进行医学图像分析的 TL 研究。

2）确定了文献中在各种医学图像分析任务的数据准备、方法选择和输出评估方面最常见的实施途径。