ICLR2024论文解读|BIOBRIDGE: BRIDGING BIOMEDICAL FOUNDATION MODELS VIA KNOWLEDGE GRAPHS生物医学基础模型的桥接：通过知识图谱

论文标题

BIOBRIDGE: BRIDGING BIOMEDICAL FOUNDATION MODELS VIA KNOWLEDGE GRAPHS 生物医学基础模型的桥接：通过知识图谱实现

论文链接

BIOBRIDGE: BRIDGING BIOMEDICAL FOUNDATION MODELS VIA KNOWLEDGE GRAPHS论文下载

论文作者

Zifeng Wang, Zichen Wang, Balasubramaniam Srinivasan, Vassilis N. Ioannidis, Huzefa Rangwala, Rishita Anubhai

内容简介

本文提出了BioBRIDGE，一个参数高效的框架，旨在连接独立训练的单模态生物医学基础模型（FMs），以实现多模态行为。BioBRIDGE通过利用知识图谱（KG）学习不同单模态FM之间的转换，而无需微调任何底层单模态FM。实验结果表明，BioBRIDGE在跨模态检索任务中超越了最佳基线KG嵌入方法（平均提高约76.3%），并展现出域外泛化能力。此外，BioBRIDGE还被证明是一种通用的检索器，能够辅助生物医学多模态问答，并增强新药的引导生成。

分点关键点