【论文阅读】LARGE-SCALE DOMAIN-SPECIFIC PRETRAINING FOR BIOMEDICAL VISION-LANGUAGE PROCESSING
基于并行图像-文本数据的对比预训练在视觉语言处理(VLP)中取得了巨大的成功,其中以CLIP和相关方法为代表。然而,先前的探索往往集中在网络的一般领域。生物医学图像领域和文本是相当不同的,但公开可用的数据集很小,而且倾向于胸部x射线,因此严重限制了进展。在本文中,我们进行了迄今为止最大的生物医学VLP研究,使用了从PubMed Central 的生物医学研究文章中提取的1500万对图标题。
原创
2023-10-26 21:41:04 ·
177 阅读 ·
0 评论