关注公众号:青稞AI,第一时间了解最新AI技术
🔥青稞Talk主页:qingkelab.github.io/talks
对于行业大模型来说,仅仅拥有强大的基座大模型是远远不够的。而通过对一个基座模型使用行业数据进行LoRA微调,可以得到多个小型LoRA适配器作为微调结果。这些适配器的参数虽然非常小(例如只有基础模型参数的1%),但却能更好的适用于特定行业。然而在部署上,又会面临一个新的问题:一个base model+几千个lora,怎么serving?
S-LoRA解决的就是如何在单台机器上部署数千个同源的LoRA adapter。当然前提是这些LoRA adapter都是来自同一个base model的权重。针对从同一基础模型用LoRA微调出来的多个adapter结果,S-Lora的提出者提出了一套高效部署方案。通过扩展Batching策略,PageAttention内存管理策略和并行策略,实现单个GPU服务上千个LoRA adapter的效果。
Paper:S-LoRA: Serving Thousands of Concurrent LoRA Adapters
Abs:https://arxiv.org/pdf/2311.03285.pdf
Code:https://github.com/S-LoRA/S-LoRA
与HuggingFace PEFT和vLLM相比,S-LoRA可以将吞吐量提高最多4倍,并将可服务的适配器数量增加几个数量级。因此,S-LoRA实现了许多特定任务的微调模型的大规模服务,并为大规模定制化的微调服务提供了潜力。
8月26日11点,青稞Talk第20期,UC Berkeley 博士生曹诗怡,将对 S-Lora 进行分享,主题为《S-LoRA:实现多 LoRA 大模型的高效并行化推理》。
Talk信息
主讲嘉宾
曹诗怡,UC Berkeley 博士生;导师是Ion Stoica和Joseph E. Gonzalez教授,主要研究方向为机器学习系统,分布式系统和高性能计算。此前,在上海交通大学取得计算机科学学士学位,在苏黎世联邦理工取得硕士学位。博士一年级期间主要研究大语言模型的高效推理和部署,相关成果发表在MLSys,OSDI等会议中。个人主页:https://shiyicao.com/
主题提纲
S-LoRA:实现多 LoRA 大模型的高效并行化推理
1、大模型时代的多用户和定制化 LLM Serving 问题
2、常见的大模型微调方法及 LoRA 介绍
3、多 LoRA 并行推理的挑战
4、S-LoRA 方法解析及实现
5、VTC Fair Scheduling
直播时间
8月26日(周一)11:00-12:00
参与方式
Talk 将在青稞·知识社区上进行,添加【ai_qingke113】对暗号:" 0826 ",报名进群!