使用InternStudio 进行Llama 3 Agent 能力体验+微调（Lagent 版）

已于 2024-05-11 15:33:02 修改
阅读量405 收藏 3
点赞数 4
文章标签： llama
于 2024-05-11 15:27:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiyang1943/article/details/138715660
版权

说明: 本博客是InternStudio学习的部分记录贴

教程链接为:Llama3-Tutorial/README.md at main · SmartFlowAI/Llama3-Tutorial · GitHub

第一节:Llama 3 本地 Web Demo 部署

执行命令

streamlit run ~/Llama3-Tutorial/tools/internstudio_quant_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

选择下方栏里的post, 打开对应的port为8015的farwarded链接

等待一定时间后, 即可(这个期间,确保有足够的算力,否则会启动失败)

第二节:Llama 3 微调个人小助手认知（XTuner 版）

在根据文档教程后,执行最后一部代码启动微调后的模型:

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged

发现这个微调后, 机器人重复回答, 可以参考下方链接进一步进行微调方面的调整大模型怎么搞？一个案例教会你从数据准备到微调验证！ (qq.com)

第四节 Llama 3 高效部署实践（LMDeploy 版）

在根据文档教程后,执行最后一部代码启动微调后的模型:

即可进行终端对模型进行对话

这一部分,之前实现了,但复现时由于算力问题, 迟迟没有复现

baiyang1943
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Llama3模型+Windows本地运行软件（下载地址）
05-20
下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比，以及Llama3 70B和gemini和Claude3闭源版的对比。 关于Llama3具体有多牛X，这样的内容我就不写了。网上新闻一大堆！ 我就说说怎么在我们自己的电脑上玩起来...
Llama3大模型学习--笔记~Llama 3 Agent 能力体验+微调（Lagent 版）
m0_59412894的博客
05-14 441
由于 HuggingFace 上的 Agent-FLAN 数据集暂时无法被 XTuner 直接加载，因此我们首先要下载到本地，然后转换成 XTuner 直接可用的格式。可以看到，经过 Agent-FLAN 数据集的微调后，Llama3-8B-Instruct 模型已经可以成功地调用工具了，其智能体能力有了很大的提升。由于训练时间太长，我们也为大家准备好了已经训练好且转换为 HuggingFace 格式的权重，可以直接使用。已经准备好了可以一键启动的配置文件，主要是修改好了模型路径、对话模板以及数据路径。
Llama3 中文通用 Agent 微调模型来啦！（附手把手微调实战教程）
2301_78285120的博客
04-24 2721
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。考虑到国内用户对Agent场景的需求，社区LLM&AIGC模型微调推理框架SWIFT基于Llama3-8b-instruct原始版本训练了。
Llama3小白自学路（五、Agent 能力体验+微调Lagent 版）
不负韶华不负己
05-12 404
Agent，智能体，通常被认为是Open AI的下一个发展方向。笔者认为，如果将大模型比作可以根据刺激进行收缩和舒张的神经元，智能体就好比是大脑，可以自由的思考，有记忆分析逻辑推理能力，有问题解决问题的能力，没有问题就创造问题解决问题的能力。Agent-FLAN 数据集是上海人工智能实验室 InternLM 团队所推出的一个智能体微调数据集，其通过将原始的智能体微调数据以多轮对话的方式进行分解，对数据进行能力分解并平衡，以及加入负样本等方式构建了高效的智能体微调数据集，从而可以大幅提升模型的智能体能力。
Llama 3 最强开源模型？深入剖析Meta Llama 3技术细节
SHIZAIZHINENG的博客
04-23 902
Llama 模型的首个版本发布于去年 2 月，属于首批对外开放权重的大型语言模型。紧接着，Meta 在 2023 年 7 月推出了该模型的升级版——Llama 2。Llama 3 不仅是 Meta AI 聊天机器人的动力引擎，还被 Meta 誉为当前最强大的公开可用的大型语言模型 LLM。相较于前身 Llama 2，Llama 3 在性能上实现了显著飞跃。它拥有高达 8 至 700 亿个参数，这一数字在同类模型中独占鳌头。Llama 3 在减少错误、增强响应多样性以及提升对齐度方面均有突破。
Llama 3 Agent 能力体验+微调
qq_42137576的博客
05-09 1014
本次实验基于AutoDL平台使用A40显卡做的实验，使用 XTuner 在 Agent-FLAN 数据集上微调 Llama3-8B-Instruct，以让 Llama3-8B-Instruct 模型获得智能体能力。Agent-FLAN数据集是上海人工智能实验室 InternLM 团队所推出的一个智能体微调数据集，其通过将原始的智能体微调数据以多轮对话的方式进行分解，对数据进行能力分解并平衡，以及加入负样本等方式构建了高效的智能体微调数据集，从而可以大幅提升模型的智能体能力
Llama 3 五一超级课堂 笔记 ==＞ 第五节、Llama 3 Agent 能力体验与微调
weixin_49477258的博客
05-09 344
Llama 3 Agent 能力体验与微调
LLama3 中文大模型进行指令微调的中文聊天语言模型
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色扮演、工具使用、数学计算等多种功能。最新的 v2.1 版本相...
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3...
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3使用了超过15万亿令牌的公开在线数据进行预训练，这些数据是前代Llama-2的七倍。此外，Llama-3支持8K长文本，具有128K token的词汇量，这有助于实现更好的性能。其主要亮点还包括增强的推理和代码能力，以及...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
本项目将介绍如何使用OpenVINO进行大模型的本地化部署，特别是针对LLaMa3模型的实例。通过该项目，开发者可以学习到如何将复杂的模型部署到边缘设备，以便在本地运行高效且实时的推理任务。 LLaMa3是一种大规模的预...
Llama - Prompting
编码时光
07-16 502
制作有效的提示 明确说明 风格化 格式化 限制 提示使用 Zero- and Few-Shot 学习 Zero-Shot Prompting Few-Shot Prompting 基于角色的提示 思维链技术 Self-Consistency 检索-增强生成 程序辅助语言模型 限制无关token 减少幻觉
Llama - 微调
编码时光
07-16 1010
微调 实验跟踪 Recipes PEFT LoRA torchtune Hugging Face PEFT LoRA QLoRA微调
Llama - 量化
编码时光
07-16 438
PyTorch中支持的量化模式 使用 TorchAO 进行 Pytorch量化 HF支持的量化 Quanto AQLM AWQ AutoGPTQ BitsAndBytes
LLaMA-Factory
最新发布
编码时光
07-17 824
一、关于 LLaMA-Factory 项目特色 性能指标 二、如何使用 1、安装 LLaMA Factory 2、数据准备 3、快速开始 4、LLaMA Board 可视化微调 5、构建 Docker CUDA 用户： 昇腾 NPU 用户： 不使用 Docker Compose 构建 CUDA 用户： 昇腾 NPU 用户： 数据卷详情 6、利用 vLLM 部署 OpenAI API 7、从魔搭社区下载 8、使用 W&B 面板 三、支持 1、模型 2、训练方法 3、数据集 预训练数据集 指令微调数据集 偏好
Llama - Validation
编码时光
07-16 309
量化技术 Holdout 标准评估工具 Interpreting Loss and Perplexity 定性技术 手动测试
Meta Llama - Model Cards & Prompt formats
编码时光
07-16 787
一、Meta Llama 3 与Meta Llama 3一起使用的特殊token Meta Llama 3 Meta Llama 3 Instruct 二、Meta Llama Guard 2 提示格式 三、Meta Code Llama Meta Code Llama 7B, 13B, and 34B Completion Instructions 指令 Infilling
给 ｢大模型初学者｣ 的 LLaMA 3 核心技术剖析
Baihai_IDP的博客
07-13 890
”这样的问题时，期望的回答自然是“白色（white）”。仅需具备一定的 Python 编程基础，并对神经网络和 Transformer 架构有基本的认识，便能跟随本文的指引，观察 LLaMA 3 如何根据输入生成输出，见证它如何基于输入生成连贯且有意义的文本。—— 如前文所述，LLaMA-3 采用的是 tiktoken 库中的字节对编码（BPE）分词技术，这项技术是在一个包含了 15 万亿个 tokens 的超大数据集上训练得来的，比 LLaMA-2 使用的数据集足足大了7倍之多。
Llama 2: 开源预训练与微调聊天模型论文解析
预训练阶段，Llama2的模型使用了大量的文本数据进行训练，这些数据可能涵盖了互联网上的各种来源，包括社交媒体、论坛、新闻文章等，以确保模型能够理解和生成各种话题的对话。微调阶段则是在预训练模型的基础上，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值