基于Docker环境部署/微调7B/13B Vicuna

最新推荐文章于 2023-10-15 23:57:48 发布
最新推荐文章于 2023-10-15 23:57:48 发布
阅读量732 收藏 2
点赞数
分类专栏： 智能语音对话与AI大模型 文章标签： 人工智能 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AIMasterStar/article/details/130972312
版权

近期（2023年5月22日）的大语言模型评测中，Vicuna在英文和非英文（中文为主）上的表现均位于开源榜首，并且与GPT-4和GPT-3.5相差较少，如下，具体参见[1]。

这里我们将介绍如何在docker环境部署7B/13B Vicuna。关于Docker的安装配置可以先参考[2]

第一步：Docker环境配置

1.1 Docker安装

采用官方脚本自动安装：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

安装完成后验证是否成功：docker version

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AIMasterStar
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
LLM - 基于 Vicuna-13B 参数计算搭建私有 ChatGPT 在线聊天
Mystra
06-20 1899
LLaMA 和 Vicuna 都是大语言模型LLM，两者的差异如下：LLaMA (Large Language Model Meta AI)：开放和高效的基础语言模型，这是一系列从7B到65B参数的语言模型，使用公开可用的数据集进行训练，没有使用专有和无法获取的数据集。LLaMA-13B在大多数基准测试中超越了GPT-3 (175B)，LLaMA-65B 与最好的模型 Chinchilla-70B 和 PaLM-540B 相当。
基于Docker的CI/CD流水线实践
02-25
一方面由于企业内部的历史环境以及组织结构问题，另外一方面因为业界并没有一套标准的开源工具集可以借鉴(关于几家基于Docker创业的服务提供商暂时除外啊,比如什么Rancher、数人云、灵雀云之类的)。那么该篇内容主要...
Vicuna-13B云服务器部署
liuhehe的博客
06-22 1013
Vicuna概述Vicuna由一群主要来自加州大学伯克利分校的研究人员推出，仍然是熟悉的配方、熟悉的味道。Vicuna同样是基于Meta开源的LLaMA大模型微调而来，它的训练数据是来自ShareGPT上的7万多条数据（ShareGPT一个分享ChatGPT对话的谷歌插件）：在训练方式上，研究人员借鉴了Alpaca：增强了Alpaca提供的训练脚本，以更好地处理多轮对话和长序列。
如何微调Chinese-Vicuna-7b模型
05-19 1622
环境建议：使用谷歌云GCP，国内的云环境实在是太慢了哦。github慢，pip 慢，下载模型也慢。2. 准备数据 json/jsonl格式。
LLMs之Baichuan：Baichuan-7B/13B模型的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-13 8571
​ LLMs之Baichuan：Baichuan-7B/13B模型的简介、安装、使用方法之详细攻略 目录 Baichuan-13B模型的简介 Baichuan-13B模型的安装 Baichuan-13B模型的使用方法 Baichuan-13B模型的简介 Baichuan-13B 是由百川智能继Baichuan-7B之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最
vicuna-13b与ChatGPT3.5对决，GPT4为裁判的80道考题，中文机翻版
mygodalien的博客
04-21 6331
主要介绍vicuna-13b与ChatGPT3.5的对比情况
基于Docker快速部署多需求Spark自动化测试环境
02-24
本文基于Docker、Jenkins、ApacheAnt、ApacheTomcat、Git、Shell等技术或工具，根据用户对Spark版本、Scala版本、JDK版本、测试范围、测试版本等需求的不同，快速完成SparkCluster环境以及相应的Client端测试环境的...
Docker部署基于Ryu的SDN环境
03-03
作者通过Docker和Ryu部署了一个非常简单的SDN网络，分享给大家。Ryu是由日本NTT公司负责设计研发的一款开源SDN控制器，采用ApacheLicense开源协议标准。Ryu基于Python语言实现，使用者可以用Python语言在其上实现...
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 6万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
本地部署 Baichuan-13B
engchina的专栏
07-12 3230
本地部署 Baichuan-13B
基于开源大模型Vicuna-13B构建私有制库问答系统
u011728347的专栏
05-18 4645
使用开发的大模型应用项目和大模型，部署一个私有知识库使用 基于开源大模型Vicuna-13B构建私有制库问答系统
Fastchat安装vicuna-7b-v1.3（小羊驼） ——超详细版
入门记
07-06 4821
下载好的vicuna-7b模型的地址，本地路径/root/vicuna-7b/vicuna-7b-delta-v11（lmsys/vicuna-7b-delta-v1.1意思是联网下载vicuna-7b-delta-v1.1）export PATH=$PATH:/usr/local/cuda-11.6/bin 将/usr/local/cuda-11.6/bin添加到环境变量。参数：--model_size是指定哪个参数级的模型，7B是70亿参数模型，还有13B/30B/65B的模型。
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-15 1963
​ LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部署且实现模型推理全流程步骤的图文教程(非常详细) 目录 相关文章 在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型部署且实现模型推理全流程步骤的图文教程(非常详细) 0、前置环境 1、下载与安装
win10,win11 下部署Vicuna-7B，Vicuna-13B模型，gpu cpu运行
babytiger的专栏
05-16 6850
运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存如果没有上面的硬件配置请绕行了，我笔记本有64G内存，两个都跑跑看，使用python3.9，当时转换13b时一直崩溃后来发现是没有设定虚拟内存，后来加上了9个G，才可以跑起来下载llama原始模型也可以用迅雷下载下面的链接，注只要7b，13b就可以了：magnet:?下载的文件如下：下载vicuna-7b-delta-v1.1 和vicuna-13b-delta-v1.1。
Vicuna-13B量化模型单GPU可跑
赫凯的博客
04-26 4166
链接在这（需要科学上网）有人在B站转了人家的视频下面就是部署的步骤，其中有一步需要科学上网。
baichuan7B/13B的原理与微调：从baichuan的SFT实现到baichuan2的RLHF实现
结构之法 算法之道
07-05 1万+
2023年7月11日，百川智能发布Baichuan-13B(这是其GitHub地址Baichuan-13B 是继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，本次发布包含以下两个版本预训练(对齐(，July注：我看了下代码，这里的对齐指的是通过对话数据对齐，即只做了SFT，没做RLHF)更大尺寸、更多数据Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到130亿，并且在高质量的语料上训练了1.4。
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型（CPU+内存运行）
tantu666的博客
04-24 1万+
Vicuna号称"小羊驼"，Vicuna是基于ShareGPT的7万条对话数据对LLaMA微调的模型，13b模型的效果据说可达到ChatGPT3.5 92%的效果，部分问答的评分甚至超过了ChatGPT3.5。里面vicuna-13B-1.1-GPTQ-4bit-32g.GGML.bin和vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。下载哪个都可以，我用的是vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。
开源模型：小羊驼（Vicuna-13B），可达chatGPT九成效果。
rellvera的博客
04-03 1万+
以 Meta 开源 LLaMA（直译为「大羊驼」）系列模型为起点，研究人员逐渐研发出基于LLaMA的Alpaca（羊驼）、Alpaca-Lora、Luotuo（骆驼）等轻量级类 ChatGPT 模型并开源。近日，研究者们又提出了一个新的模型：Vicuna（小羊驼）。该模型基于LLaMA，参数量13B。Vicuna-13B 就是通过微调 LLaMA 实现了高性能的对话生成。
LLM系列 | 02: Vicuna简介及模型部署实测
ljp1919的专栏
04-30 8628
Vicuna-13B是在LLaMa-13B的基础上使用监督数据微调得到的模型，数据集来自于ShareGPT.com产生的用户对话数据，共70K条。使用 GPT-4 作为判断的初步评估表明，Vicuna-13B 达到了 OpenAI ChatGPT 和 Google Bard 90% 以上的质量，同时在>90%的情况下优于 LLaMA 和 Stanford Alpaca 等其他模型。剧透下，后文实测效果，其实吧，还行吧。此外，将冗长的对话分成更小的部分，以适应模型的最大上下文长度。月黑见渔灯，孤光一点萤。
介绍一下vicuna 7b大语言模型
最新发布
05-13
Vicuna 7B是CSDN自主开发的大型语言模型，其名称中的7B代表了该模型的参数量达到了70亿个。该模型采用了Transformer架构，并在多种任务上进行了训练，包括自然语言生成、文本分类、问答等任务。Vicuna 7B在英语任务中具有相当高的性能水平，能够产生流畅、准确的语言生成结果。同时，由于其参数量之大，该模型可以处理更为复杂和长的输入，如长文本的生成、阅读理解等任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIMasterStar

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值