One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning
我们提出了广义 LoRA (GLoRA),这是一种通用参数高效微调任务的先进方法。增强低秩适应 (LoRA),GLoRA 采用广义提示模块优化预训练模型权重并调整中间激活,为不同的任务和数据集提供更大的灵活性和能力。此外,GLoRA 通过使用可扩展的、模块化的、分层的结构搜索来促进有效的参数适应,该搜索学习每一层的各个适配器。GLoRA起源于统一的数学公式,具有很强的迁移学习、少镜头学习和域泛化能力,因为它通过权值和激活的附加维度调整到新任务。综合实验表明,GLoRA 在自然、专业和结构化基准测试中优于所有
复制链接