CVPR 2025 | MedUnifier：利用离散视觉表示在医学数据上统一视觉语言预训练与视觉生成任务

论文信息

题目：MEDUNIFIER: Unifying Vision-And-Language Pre-Training On Medical Data With Vision Generation Task Using Discrete Visual Representations

MedUnifier：利用离散视觉表示在医学数据上统一视觉语言预训练与视觉生成任务

作者：Ziyang Zhang, Yang Yu, Yucheng Chen, Xulei Yang, Si Yong Yeo

论文创新点

1. 提出统一的医学VLP框架MedUnifier：该框架将当前的VLP范式与语言引导的视觉生成任务相结合，把基于文本的图像生成能力与多模态学习策略（如图像文本对比对齐、图像文本匹配和基于图像的文本生成）无缝集成，朝着一体化VLP模型迈进，有效整合视觉和语言信息。
2. 利用文本信息支持离散视觉表示学习：通过一种桥接设计，利用文本输入中嵌入的信