KJpeach的博客

原创 医疗大模型的Lora权重与base模型手动合并教程

在医疗领域中，大规模预训练模型（如BianQue、ShenNong、ZhongJing等）已经成为研究和应用的重要工具。然而，为了针对具体任务进行微调，常常使用 Lora（Low-Rank Adaptation）技术。且现在的医疗大模型的作者在发布其模型时往往不会公开具体的模型权重，只会公开自己的Lora权重，要想本地部署或推理此模型，将Lora权重与其base模型合并的必要的。