AI博士读生医多模态基础模型文献【BioMed基础模型技术报告一】

生物医学图像分析、生物医学图像数据集MedMNIST

 MedViT: A Robust Vision Transformer for Generalized Medical Image Classification

 Computers in Biology and Medicine ( IF 7.0 ) , DOI: 10.1016/j.compbiomed.2023.106791

论文提出了一种稳健高效的 CNN-Transformer 混合模型，缓解了不同类型医学图像的数据分布、标签分布差异大的问题。MedViT核心块：局部transformer块（LTB，执行局部和全局特征的融合） 和 高效卷积块（ECB），Patch Momentum Changer（PMC，数据增强技术）。

通过高效的卷积运算构建了我们的注意力机制。此外，为了减轻我们的 Transformer 模型抵抗对抗性攻击的脆弱性，我们尝试学习更平滑的决策边界。为此，我们通过排列小批量中的特征均值和方差来增加高级特征空间中图像的形状信息。