【LLMs】ChatGLM & 小羊驼Vicuna & Baichuan-7B+量化微调

已于 2023-07-21 14:48:20 修改
阅读量730 收藏
点赞数
分类专栏： 机器学习 文章标签： 深度学习 llm 语言模型 Baichuan
于 2023-07-12 18:41:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37556124/article/details/131677011
版权

文章目录

私信我可以教你使用免费GPU服务器哦！

前言

随着人工智能的快速发展以及OpenAI发布ChatGPT3.5以来，大语言模型如雨后春笋般涌现，且ChatGPT具有推理成本和敏感性问题，因此需要部署私有化LLM需求，本文就介绍了ChatGLM、Vicuna、Baichuan7B部署以及测试使用相关内容。

在这里插入图片描述

一、ChatGLM-6B介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

提示：以下是本篇文章ChatGLM-6B内容，下面案例可供参考

二、使用步骤

2.1 机器配置

使用阿里云服务器
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
IDONTCARE8
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
llama-7B、vicuna-7b-delta-v1.1和vicuna-7b-v1.3——使用体验
入门记
07-05 1801
动手体验了下Vicuna-7b，翻译过来是小羊驼」（骆马），拥有70亿参数，据作者实验能达到GPT-4的90%性能。python3 -m cli是python3执行cli.py文件，具体内容，要看cli.py写了什么。Chatgpt的出现给NLP领域带来了让人振奋的消息，可以很逼真的模拟人的对话，回答人们提出的问题，不过Chatgpt参数量，规模，训练代价都很昂贵。提问方式很重要：输入china，回答的只能说是相关，文字就少很多。幸运的是，出现了开源的一些相对小的模型，可以在本地或者云端部署体验，
国内大语言模型的相对比较：ChatGLM2-6B、BAICHUAN2-7B、通义千问-6B、ChatGPT3.5
qq_34717531的博客
09-26 4097
国产大模型有很多，比如文心一言、通义千问、星火、MOSS 和 ChatGLM 等等，但现在明确可以部署在本地并且开放 api 的只有 MOOS 和 ChatGLM。MOOS 由于需要的 GPU 显存过大（不量化的情况下需要80GB，多轮对话还是会爆显存），但 ChatGLM 可以在笔记本电脑部署（int4版本只需要6GB显存即可）。所以本文采用ChatGLM 与 ChatGPT 做对比，看看国产模型的优点和缺点。
Fastchat安装vicuna-7b-v1.3（小羊驼） ——超详细版
入门记
07-06 4763
下载好的vicuna-7b模型的地址，本地路径/root/vicuna-7b/vicuna-7b-delta-v11（lmsys/vicuna-7b-delta-v1.1意思是联网下载vicuna-7b-delta-v1.1）export PATH=$PATH:/usr/local/cuda-11.6/bin 将/usr/local/cuda-11.6/bin添加到环境变量。参数：--model_size是指定哪个参数级的模型，7B是70亿参数模型，还有13B/30B/65B的模型。
Langchain-Chatchat-win10本地安装部署成功笔记（CPU）
xqdd的专栏
11-06 1万+
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。
部署运行Vicuna(小羊驼)
wstc2689784536的博客
04-23 4173
根据GitHub上简介可以知道：运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存由于本地我没有足够的硬件设备，所以本次部署采用的是网上租用设备来部署我使用的是矩池云提供的服务。可使用CPU数可使用内存硬盘840 GB硬盘带宽可用空间CPU型号100 GB。
baichuan-7B模型介绍及微调
dzysunshine的博客
07-04 6065
2023年6月15日，搜狗创始人王小川创立的百川智能公司，发布了70 亿参数量的中英文预训练大模型——baichuan-7B。baichuan-7B 基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。
大模型微调-使用PEFT微调ChatGLM-6B大语言模型-附流程教程+项目源码-优质项目实战.zip
05-16
在当前的IT领域，大语言模型（Large Language Models, LLMs）已经成为自然语言处理（NLP）的核心技术，能够实现对话系统、文本生成、问答系统等多种应用。本项目聚焦于一个具体的大模型微调实战，即使用PEFT（Prompt...
大语言模型量化-对LLMs进行量化以进行搞笑Finetuning微调-附项目源码-优质项目分享.zip
05-11
在这个名为“大语言模型量化_对LLMs进行量化以进行搞笑Finetuning微调”的项目中，开发者专注于对大型语言模型进行量化后进行finetuning（微调）。Finetuning是将预训练模型应用于特定任务的训练过程，通过在目标...
LLMs-入门四：基于LLaMA-Efficient-Tuning对LLMs做微调
10-07
json
ChatGLM3 series: Open Bilingual Chat LLMs - 开源双语对话语言模型
02-06
ChatGLM3系列是针对开放源代码的双语对话语言模型的一个重要项目，它旨在提供一个高效、灵活且可扩展的工具，以支持多种语言之间的自然对话。这个模型的开发和设计聚焦于增强人工智能（AI）系统在跨语言交流中的理解...
ChatGLM、Baichuan、LLaMA、Vicuna对比总结
taoqick的专栏
02-28 521
这部分转载自 https://www.zhihu.com/question/608732789/answer/3141379386。
130亿参数开源模型「小羊驼-Vicuna」来了！复刻ChatGPT九成功力，GPT-4亲自监考
夕小瑶科技说
04-03 1万+
源｜机器之心OpenAI 的强大模型们，被开源社区复刻得差不多了。过去几个月，OpenAI 的 ChatGPT 彻底改变了聊天机器人领域的格局，也成为其他研究赶超的对象。以 Meta 开源 LLaMA（直译为「大羊驼」）系列模型为起点，斯坦福大学等机构的研究人员先后在其上进行「二创」，开源了基于 LLaMA 的 Alpaca（羊驼）、Alpaca-Lora、Luotuo（骆驼）等轻量级类 Chat...
学习实践-Vicuna【小羊驼】（部署+运行）
LZL2020LZL的博客
04-18 5716
3 月底，UC伯克利开源大语言模型Vicuna来了，这是一个与 GPT-4 性能相匹配的 LLaMA 微调版本。“缺啥补啥缺啥练啥，傻子也突出”！Vicuna 使用从 ShareGPT 收集的用户共享数据对 LLaMA 模型进行微调（ShareGPT 是一个 ChatGPT 数据共享网站，用户会上传自己觉得有趣的 ChatGPT 回答）。利用ShareGPT的7万对话数据对LLaMA微调。Vicuna训练硬件：8块 A100 80G的GPU（比Alpaca训练花销便宜一半）
开源GPT-4小羊驼(Vicuna)快速上手指南
weixin_34382392的博客
04-14 7992
Vicuna: 一个开源的GPT，宣称实现了GPT-4 90%的功能。UC伯克利学者联手CMU、斯坦福等，再次推出一个全新模型70亿/130亿参数的Vicuna，俗称「小羊驼」（骆马）。并且和其他以往不同的是你可以在自己的设备上跑起来！比如Mac，再比如你的主力机！
LLaMA, ChatGLM, BLOOM的参数高效微调实践
丨汀、的博客
06-12 3770
大语言模型的训练分为两个阶段：（1）在海量文本语料上的无监督预训练，学习通用的语义表示和世界知识。（2）在小规模数据上，进行指令微调和基于人类反馈的强化学习，更好地对齐最终任务和人类偏好。LIMA[1] 证明了，只需要有限的指令微调数据就可以生成高质量的回复。因此，基座模型的性能是至关重要的，如果基座模型的性能不够好，指令微调和强化学习也难以取得很好的效果。目前，主流的开源大语言模型主要有三个：LLaMA、ChatGLM 和 BLOOM。
【AI实战】最强开源 6B 中文大语言模型ChatGLM2-6B，从零开始搭建
Zack的博客
07-01 2202
最强开源7B中文大语言模型ChatGLM2-6B
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 6万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
GCN-LSTM实现时空预测
weixin_44992737的博客
07-10 166
GCN-LSTM实现交通流量预测,时空预测,
基于深度学习的点云降噪
最新发布
weixin_42605076的博客
07-10 815
基于深度学习的点云降噪是一种利用深度学习模型处理三维点云数据，以去除噪声并恢复点云的原始形状和细节的方法。点云数据广泛应用于自动驾驶、机器人导航、3D扫描和虚拟现实（VR）等领域，因此高质量的点云数据处理至关重要。
百川 13B（私有化部署）
08-01
百川13B是一个续写模型，是由百川智能开发的一个开源的大规模预训练模型。它基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型。百川13B模型支持中英双语，上下文窗口长度为4096。它在标准的中文和英文权威benchmark上取得了同尺寸最好的效果。百川13B模型可以用于商业场景，并且可以进行私有化部署。\[1\] #### 引用[.reference_title] - *1* [【LLMs】ChatGLM & 小羊驼Vicuna & Baichuan-7B+量化微调](https://blog.csdn.net/m0_37556124/article/details/131677011)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v4^insert_chatgpt"}} ] [.reference_item] - *2* *3* [开源大模型发展汇总](https://blog.csdn.net/Botaruibo/article/details/131721507)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v4^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IDONTCARE8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值