学习实践-Vicuna【小羊驼】（部署+运行）

已于 2024-04-08 15:50:49 修改
阅读量5.8k 收藏 31
点赞数 4
分类专栏： 算法实战 文章标签： 语言模型
于 2023-04-18 11:02:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LZL2020LZL/article/details/130215714
版权
本文介绍了UC伯克利开源的大语言模型Vicuna，它是LLaMA的微调版本，针对内存和多轮对话进行了优化。提供了在Linux环境下使用3090 GPU部署FastChat的详细步骤，包括创建虚拟环境、安装PyTorch和FastChat、转换LLaMA模型为Vicuna模型，并强调了内存需求和解决protobuf版本问题。
摘要由CSDN通过智能技术生成

对视觉类论文详解（免费）感兴趣的同学，可以关注微信公众号 李卓璐随手记，将会不定期发布，注意查收哦~

1、Vicuna【小羊驼】-FastChat"更快的对话" 介绍

3 月底，UC伯克利开源大语言模型Vicuna来了，这是一个与 GPT-4 性能相匹配的 LLaMA 微调版本。“缺啥补啥缺啥练啥，傻子也突出”！
在这里插入图片描述
在这里插入图片描述
Vicuna 使用从 ShareGPT 收集的用户共享数据对 LLaMA 模型进行微调（ShareGPT 是一个 ChatGPT 数据共享网站，用户会上传自己觉得有趣的 ChatGPT 回答）。利用ShareGPT的7万对话数据对LLaMA微调。
Vicuna训练硬件：8块 A100 80G的GPU（比Alpaca训练花销便宜一半）
相对于Alpaca 进行了如下改进：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
李卓璐
关注
  • 4
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
订阅专栏
LLM-2023：Vicuna（小羊驼）【伯克利】
u013250861的博客
04-29 575
受 Meta LLaMA 和 Stanford Alpaca 项目的启发，Vicuna 使用从 ShareGPT 收集的用户共享数据对 LLaMA 模型进行微调。ShareGPT 是一个 ChatGPT 数据共享网站，用户会上传自己觉得有趣的 ChatGPT 回答。有传闻称谷歌的 Bard 也使用 ShareGPT 的数据，但不同的是，Vicuna 是一个完全开源的模型，研究团队明确强调 Vicuna 不能用于任何商业目的。
保姆级教程：Linux和Windows下本地化部署Vicuna模型
无敌小怪兽_Zz的博客
05-30 3436
这是一篇详尽的Vicuna模型部署指南，它拥有强大的性能，可以与ChatGPT媲美，而且免费提供，甚至还支持微调。本文将带你一步步掌握在Windows和Linux系统下的部署过程，提供了全套必需的安装包及转化好的本地模型。下载即用。通过本文，你将能够自行启动并运行Vicuna模型，从而利用其强大的功能提升你的工作效率。详细的部署文档，让你清晰掌握每一个步骤。
大模型系列：LLaMA大模型简述和本地部署实践
最新发布
kiiy2的博客
07-15 819
LLaMA是Meta AI公司在2023年2月发布的开源大模型，在开放基准上有着非常出色的表现，是迄今为止最流行的开放语言模型之一。同期谷歌的PaLM大模型，OpenAI的GPT-4都采用闭源的方式，不能从源码来剖析模型的结构，LLaMA的开源降低了大模型的研究门槛，后续许多大模型都是借鉴或沿用了LLaMA的模型框架。另一方面由于LLaMA的开源，开发者可以将LLaMA作为基座模型进行本地部署搭建，用新的语料继续预训练或者微调，从而保证了数据的安全性不需要发送给第三方。
部署运行Vicuna(小羊驼)
wstc2689784536的博客
04-23 4331
根据GitHub上简介可以知道：运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存由于本地我没有足够的硬件设备，所以本次部署采用的是网上租用设备来部署我使用的是矩池云提供的服务。可使用CPU数可使用内存硬盘840 GB硬盘带宽可用空间CPU型号100 GB。
Vicuna模型权重合成及模型部署
along_000的博客
06-19 1584
Vicuna模型权重合成及模型部署
Vicuna 小羊驼（部署 + 运行）
m0_37975556的博客
06-09 1278
Vicuna 小羊驼（部署 + 运行）的操作步骤，跟着教程一步到位 ！！！
LLM：Vicuna 7B模型简单部署体验
xu.hyj
04-16 6746
随着ChatGPT的火热，科技公司们各显神通，针对大语言模型LLM通常需要极大的算力支持，且没有开源，阻碍了进一步的研究和应用落地。受 Meta LLaMA 和 Stanford Alpaca 项目的启发，来自加州大学伯克利分校、CMU、斯坦福大学和加州大学圣地亚哥分校的成员，共同推出了一个 Vicuna-13B 开源大模型。本文将尝试在3090上运行Vicuna-7B模型。
羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
andeyeluguo的博客
01-11 1111
摘要 在这项工作中，我们开发并发布了Llama 2，这是一个预训练和微调的大型语言模型(llm)的集合，范围从70亿到700亿个参数。我们的微调llm，称为Llama 2-Chat，针对对话用例进行了优化。我们的模型在我们测试的大多数基准测试中都优于开源聊天模型，并且基于我们对有用性和安全性的人工评估，可能是闭源模型的合适替代品。我们详细描述了我们对Llama 2-Chat进行微调和安全改进的方法，以使社区能够在我们的工作基础上为llm的负责任发展做出贡献。 内容 PAGE 2 1介绍 PAGE
QLORA:量化LLMA的有效微调
AI浩
06-28 2935
我们提出了QLORA，这是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到Low RankAdapters (LoRA)中。我们最好的模型家族，我们命名为Guanaco，在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。
win10,win11 下部署Vicuna-7B，Vicuna-13B模型，gpu cpu运行
babytiger的专栏
05-16 7038
运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存如果没有上面的硬件配置请绕行了，我笔记本有64G内存，两个都跑跑看，使用python3.9，当时转换13b时一直崩溃后来发现是没有设定虚拟内存，后来加上了9个G，才可以跑起来下载llama原始模型也可以用迅雷下载下面的链接，注只要7b，13b就可以了：magnet:?下载的文件如下：下载vicuna-7b-delta-v1.1 和vicuna-13b-delta-v1.1。
Vicuna本地部署的实战方案
热门推荐
herosunly的博客
06-15 8万+
本文主要介绍了Vicuna本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 配置环境 1.1 安装虚拟环境 1.2 安装Python依赖库 2. 生成Vicuna-13b模型 2.1 下载LLaMA-13b模型权重 2.2 下载Vicuna附加权重 2.3 合成Vicuna-13b模型 3. 运行Vicuna模型
基于Fast-CHAT中Vicuna-7b（小羊驼）模型搭建
zixiangyanhua的博客
03-08 383
接下来，我们还需要转换一下LLaMA的文件，以便于构建FastChat对应的模型Vicuna（我资源不够，用的7B模型）下载 huggingface/transformers 的源码，访问其GitHub地址。参数：–model_size指定用哪个参数数量级的模型，7B代表的是70亿个参数的那个模型（如果你用的种子链接下载的话，还有13B/30B/65B的模型）参数：–input_dir指定的是刚才你下载好的LLaMA文件地址，这个路径下有个tokenizer.model文件，请仔细核对一下。
大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼
吃果冻不吐果冻皮
05-12 1702
为了提供演示服务，Vicuna研究人员建立了一个轻量级的分布式服务系统，创建了八个问题类别（如：角色扮演、编码/数学任务等）的 80 个不同问题，利用 GPT-4 来判断模型输出，借此对模型质量做初步评估。Vicuna具体的工作流程如下图所示，首先，研究人员从 ShareGPT.com（一个供用户分享 ChatGPT 对话内容的网站）收集了约 7 万个对话，并增强了 Alpaca 提供的训练脚本，以更好地处理多轮对话和长序列。追加到上面的命令中，这会将大权重文件拆分为较小的文件，并将磁盘用作临时存储。
超过ChatGPT3达到ChatGPT4%90性能的小羊驼来了-Vicuna(校招社招必备，chatgpt风口来了赶紧学起来吧)
xuxu96
04-07 3885
达到GPT4百分之90性能的小羊驼Vicuna
零基础入门AI：两步快速本地部署ChatGPT的平替 - 小羊驼 Vicuna
zhishi0000的博客
06-20 1385
ChatGPT 引发了大家对大语言模型的热情，但是其封闭的生态也带来了诸多限制。所幸Meta是越来越开放，自LLaMA发布以来，围绕它微调和开发的模型越来越多，逐渐形成了羊驼系列大模型，2023年9月Meta又发布了LLaMA 2，最高支持16K上下文输入，同时修改了授权协议，允许商用，进一步大大降低了这类开源大模型的研究、应用门槛。羊驼系列大模型中，尤其以UC伯克利大学的研究人员联合其它几家研究机构共同推出的小羊驼（
【CV2NLP】Chinese-Vicuna 中文小羊驼
weixin_48827824的博客
05-05 1453
最近羊驼家族百花齐放，赶紧学习一下 ChatBot 的背后细节。Chinese-Vicuna 中文小羊驼是基于 Vicuna 模型使用中文数据 + LORA 方案来微调的一种中文对话模型，是一个具备一些基础通用的中文知识模型，它具体能实现什么功能呢？
【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录
2401_85280307的博客
05-31 463
想必有小伙伴也想跟我一样体验下部署大语言模型, 但碍于经济实力, 不过民间上出现了大量的量化模型, 我们平民也能体验体验啦~,该模型可以在笔记本电脑上部署, 确保你电脑至少有16G运行内存GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU部署。
如何微调Chinese-Vicuna-7b模型
05-19 1661
环境建议：使用谷歌云GCP，国内的云环境实在是太慢了哦。github慢，pip 慢，下载模型也慢。2. 准备数据 json/jsonl格式。
vicuna2 微调
09-06
在引用中提到了UCBerkeley的Vicuna/FastChat模型，它是通过使用ShareGPT.com的7万条对话数据来微调LLaMA模型的。而在引用中提到，这份训练/微调代码是经典的，并且被用于各种医疗类ChatGPT模型的微调，包括基于医疗语料微调LLaMA的chatdoctor模型。此外，在引用中提到了LLaMA 2-CHAT，它是基于LLAMA 2模型进行对话场景微调的版本，具体的训练方法与ChatGPT类似。由此可见，vicuna2模型应该是基于LLaMA模型进行微调得到的，具体的微调方法可能与LLaMA 2-CHAT类似。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [LLaMA的解读与其微调：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2](https://blog.csdn.net/v_JULY_v/article/details/129709105)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值