Advancing Multimodal Large Language Models with Quantization-Aware Scale Learning

本文是LLM系列文章，针对《Advancing Multimodal Large Language Models with Quantization-Aware Scale Learning for Efficient Adaptation》的翻译。

摘要

本文提出了第一项研究，探讨了多模态大型语言模型参数量化的潜力，以减轻视觉语言指令调整过程中遇到的重大资源限制。我们介绍了一种基于多模态预热的量化感知 Scale LeArning 方法，称为 QSLAW。该方法基于两项关键创新：（1） 学习量化 LLM 权重的分组比例因子，以减轻由激活异常值引起的量化误差并实现更有效的视觉语言指令调整;（2） 实现多模态热身，逐步整合语言和多模态训练样本，从而防止量化模型与多模态数据的过度拟合，同时确保多模态大型语言模型稳定适应下游视觉语言任务。大量实验表明，QSLAW 量化的模型性能与全精度模型相当，甚至超过全精度模型，同时将 VL 调整时间和 GPU 消耗减少多达 1.4 倍。我们的代码在 https://github.com/xjjxmu/QSLAW 发布。

1 引言

2 相关工作

3 方法