学习实践-Vicuna【小羊驼】（部署+运行）

对视觉类论文详解（免费）感兴趣的同学，可以关注微信公众号 李卓璐随手记，将会不定期发布，注意查收哦~

1、Vicuna【小羊驼】-FastChat"更快的对话" 介绍

3 月底，UC伯克利开源大语言模型Vicuna来了，这是一个与 GPT-4 性能相匹配的 LLaMA 微调版本。“缺啥补啥缺啥练啥，傻子也突出”！


Vicuna 使用从 ShareGPT 收集的用户共享数据对 LLaMA 模型进行微调（ShareGPT 是一个 ChatGPT 数据共享网站，用户会上传自己觉得有趣的 ChatGPT 回答）。利用ShareGPT的7万对话数据对LLaMA微调。
Vicuna训练硬件：8块 A100 80G的GPU（比Alpaca训练花销便宜一半）
相对于Alpaca 进行了如下改进：
1.内存优化：将最大上下文长度从 512 扩展到 2048，利用梯度检查点和闪存注意力来解决内存压力问题。
2.多轮对话：该研究调整训练损失以考虑多轮对话，并仅根据聊天机器人的输出计算微调损失。
3.通过 Spot (SkyPilot)实例降低训练成本。
结果：Vicuna 比 Alpaca 的生成质量更好，速度也更快。仍