MOELoRA —— 多任务医学应用中的参数高效微调方法

人工智能咨询培训老师叶梓 转载标明出处

在医疗场景中，LLMs可以应用于多种不同的任务，如医生推荐、诊断预测、药物推荐、医学实体识别、临床报告生成等。这些任务的输入和输出差异很大，给统一模型的微调带来了挑战。而且LLMs的参数众多，导致微调过程中时间和计算资源的消耗巨大。针对这些问题，来自西安交通大学、香港城市大学、腾讯YouTu Lab等机构的研究者们提出了一种新颖的参数高效微调框架——MOELoRA。它结合了多任务学习和参数高效微调的优点，通过设计多个专家（Experts）作为可训练参数，每个专家由一对低秩矩阵组成，以保持可训练参数的数量较小。研究者还提出了一种任务驱动的门控函数，用于调节每个专家的贡献，并为不同任务生成不同的参数。

论文链接：https://arxiv.org/pdf/2310.18339

项目链接： https://github.com/liuqidong07/MOELoRA-peft

方法

图3 为使用MOELoRA进行LLMs参数高效微调和推理过程。在参数高效微调领域，LoRA方法引入了仅训练两个低秩矩阵来替代密集层更新的概念。基于此本方法将MOELoRA层集成到每个密集层中，使它们能够获取键、查询和值，同时促进前馈网络（FNN）的运作。图3中以FNN为例进行说明。该方法的一个显著优势是，研究者只为不同任务微调MOELoRA层的参数，而保持原始LLMs的其他参数不变。另外每个MOELoRA层包含多个专家，这些专家旨在捕获不同医学任务的多样化知识。研究者引入了一个任务驱动的门控函数，以确保为每个任务学习到独特的参数集。这个函数决定了所有MOELoRA层中专家的贡献权重，从而生成针对不同任务量身定制的独特更新参数。研究者为所有MOELoRA层使用单个门控函数，而不是让门控函数与MOELoRA层一一对应。在微调过程中，研究者更新来自所有任务混合数据的MOELoRA层。然后，在推理过程中，MOELoRA可以为每个任务派生出不同的微调权重。

LoRA方法在LLMs的微调中展示了其有效性和效率。它受到低内在维度特性的启发，将LLMs中的参数微调过程重新定义为低秩分解。具体而言方程式W_0​+ΔW=W+BA捕捉了这种分解。这里，​代表预训练LLMs的参数矩阵，而​表示在微调过程中更新的矩阵。矩阵B∈和是低秩且可训练的。给定这样的设置，与L