青稞Talk:青年AI研究员idea加油站
https://qingkelab.github.io/talks
AWQ 是由 MIT 韩松教授团队推出的一种针对大型语言模型(LLMs)的高效且精确的低位权重量化(INT3/4)方法,通过仅保护1%的显著权重就可以大大减少量化误差,且支持指令调整模型和多模态语言模型。代码已经开源!
Paper:AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
Abs:https://arxiv.org/abs/2306.00978
Code:https://github.com/mit-han-lab/llm-awq
为了识别显著的权重通道,应参考激活分布,而不是权重。为了避免硬件低效的混合精度量化,通过数学推导得出,放大显著通道可以减少量化误差。AWQ采用等效变换来放大显著权重通道以保护它们。该比例通过离线收集激活统计数据确定。AWQ不依赖任何反向传播或重构,因此可以泛化到不同的领域和模态,而不会过拟合校准集。
AWQ 在桌面和移动 GPU 上比 Huggingface 的 FP16 实现快3倍以上。它还实现了在移动 GPU 上部署 70B Llama-2 模型的普及。AWQ 还获得了MLSys 2024最佳论文奖,现已被集成到Transformers、vLLM、FastChat、TensorRT-LLM和TGI中。
8月14日晚7点,青稞Talk第19期,MIT准博士生唐嘉铭,将直播分享《AWQ:激活值感知的LLM低位权重量化》。
Talk信息
主讲嘉宾
唐嘉铭,MIT准博士生,导师是韩松教授;此前,在上海交通大学(ACM班)获得了计算机科学学士学位;大三期间,在上海交通大学高性能计算中心实验室(EPCCLab)进行科研实习,导师是冷静文教授;研究兴趣是大语言模型的高效算法和系统,发表的论文 AWQ 获得了MLSys 2024最佳论文奖,并已被集成到Transformers、vLLM、FastChat、TensorRT-LLM和TGI中。
主题
AWQ:激活值感知的LLM低位权重量化
提纲:
1、大模型量化的常见方法介绍
2、激活感知权重量化 AWQ 技术解析
3、AWQ 的代码实现及使用方法
直播时间
8月14日(周三)19:00 - 20:00
参与方式
Talk 将在青稞·知识社区上进行,扫码对暗号:" 0814 ",报名进群!