Medicine
文章平均质量分 91
Phoenixtree_DongZhao
深度学习 图像处理
展开
-
BioMamba:利用Mamba的预训练生物医学语言表示模型
在生物学领域的自然语言处理(NLP)中,模型对于解释复杂的生物医学文献至关重要。然而,传统模型在处理这一特定领域中的复杂语言时常遇到困难。本文介绍了一种名为BioMamba的预训练模型,专门设计用于挖掘生物医学文本。BioMamba基于Mamba架构,并经过大量生物医学文献的预训练。本文进行了实证研究,结果显示BioMamba在各种生物医学任务上表现明显优于BioBERT和通用领域的Mamba等模型。例如,在BioASQ测试集上使用BioMamba可以将困惑度降低100倍、交叉熵损失降低4倍。原创 2024-08-08 09:49:08 · 339 阅读 · 0 评论 -
CLEFT 基于高效大语言模型和快速微调的语言-图像对比学习
CLEFT是一种新型的对比语言图像预训练框架,专为医学图像而设计。它融合了医学LLM的预训练、高效微调和提示上下文学习,展现出卓越的性能!该框架由耶鲁大学研发。最新进展证明了对比语言-图像预训练(CLIP)在自监督表征学习方面取得显著成功。然而,类似CLIP的现有方法通常需要大量GPU资源和长时间训练,因为模型和数据集规模较大,这使其不适用于医疗应用场景中,并非所有都有大规模数据集可供使用。同时,手动从与图像相关联的标签中提取语言模型提示可能会忽略丰富信息样本所包含的内容。原创 2024-08-07 15:28:25 · 356 阅读 · 0 评论 -
Nature Medicine:基于图像的深度学习和语言模型用于原发性糖尿病护理
为了解决糖尿病护理中存在的差距,我们开发了一种创新的系统DeepDR-LLM,它将一个LLM模块和一个基于图像的DL模块结合在一起,提供全面的初级糖尿病护理和DR筛查方法。糖尿病视网膜病变(DR)是最常见的糖尿病特定并发症,影响30-40%的患有糖尿病的人群11,12,13,并且仍然是经济活跃、工作年龄成人失明的主要原因11,14,15。然而,在低资源环境下,由于基础设施、人力资源和可持续性具有成本效益的DR筛查计划匮乏,往往忽视了DR筛查在低收入国家中不足之处。原创 2024-08-07 13:15:03 · 553 阅读 · 0 评论