LLM 大模型学习必知必会系列(九)：Agent微调最佳实践，用消费级显卡训练属于自己的Agent！

最新推荐文章于 2024-07-24 22:42:04 发布
最新推荐文章于 2024-07-24 22:42:04 发布
阅读量884 收藏 13
点赞数 21
分类专栏： LLM技术汇总 文章标签： 人工智能 自然语言处理 RAG LLM Agent AI Agent 大语言模型
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/139153752
版权
LLM技术汇总 专栏收录该内容
57 篇文章 4 订阅 ¥29.90 ¥99.00
订阅专栏

LLM 大模型学习必知必会系列(九)：Agent微调最佳实践，用消费级显卡训练属于自己的Agent！

SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能力更稳定，并支持使用单张商业级显卡进行Agent推理和部署，可以直接在生产场景中全链路闭环落地使用。

1.环境安装

#设置pip全局镜像 (加速下载)
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
#安装ms-swift
git clone https://github.com/modelscope/swift.git
cd swift
pip install -e '.[llm]'

#环境对齐 (通常不需要运行. 如果你运行错误,
了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
  • 21
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型...
【LLM】chatglm3的agent应用和微调实践
发现问题，并解决问题，批判性思维
11-25 7493
知识库和微调并不是冲突的，它们是两种相辅相成的行业解决方案。开发者可以同时使用两种方案来优化模型。例如： 使用微调的技术微调ChatGLM3-6B大模型模拟客服的回答的语气和基础的客服思维。 接着，外挂知识库将最新的问答数据外挂给ChatGLM3-6B，不断更新客服回答的内容信息。 chatglm3的对话格式中， 部分使用 special token 表示，无法从文本形式被 tokenizer 编码以防止注入。metadata 部分采用纯文本表示，为可选内容。 关于glm3的微调： 与此
Llama3 中文通用 Agent 微调模型来啦！（附手把手微调实战教程）
2301_78285120的博客
04-24 2873
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。考虑到国内用户对Agent场景的需求，社区LLM&AIGC模型微调推理框架SWIFT基于Llama3-8b-instruct原始版本训练了。
大模型Agent智能体实操笔记，超干分享！
2301_82275412的博客
06-25 1076
什么是大模型？大模型，即 Large Language Model（LLM），运用深度学习技术，凭借互联网海量数据训练，参数量级高达数十亿至数万亿。这使得大模型能学习复杂细节，具备强大问题解决能力，跨领域能力出色，涵盖自然语言处理、图像识别等，比如：GPT 系列展示的智能对话与文本生成。其“多模态”特性覆盖文本、语音、图片、视频等格式，但训练需巨大计算资源、时间和成本，通常由大公司承担，类似移动互联网中的操作系统。基础模型预训练后，针对特定任务还需微调以优化性能，该过程虽较预训练成本低，但仍具一定门槛。目前
AGI｜教你用一部电影的时间训练个人专属Agent
在数字化道路无限探索
02-27 1179
Agent是一个超越简单文本生成的人工智能系统。它使用大型语言模型（LLM）作为其中央计算引擎，使其能够进行对话、执行任务、推理并显示一定程度的自主权。
Agent-FLAN：一种大模型Agent高效微调的数据与方法设计
人工智能讲师分享前沿技术
03-24 221
Agent-FLAN在开源的Llama2系列模型上的应用，使其在多个代理评估基准测试中的表现比先前的工作提高了3.5%。此外，Agent-FLAN在扩大模型规模的同时，持续提升了LLMs的代理能力，并对LLMs的一般能力有轻微提升。为了解决上述问题，提出了Agent-FLAN方法，该方法基于三个关键观察结果：代理训练数据与预训练数据分布的差异、LLMs在代理任务所需能力上的不同学习速度、以及现有方法在提升代理能力时引入的幻觉问题。为了更好的可视化，性能结果已经与GPT-4的结果进行了标准化。
LLM Agent零微调范式 ReAct & Self Ask
2301_81888214的博客
01-02 1658
看完了SelfAsk和React的实现，不难发现二者存在一些局限性更适合简单的工具调用：这里的简单是指工具的输入和上文的文本语义比较符合，工具输入比较“自然语言”风格例如搜索。高度结构化和符号化的工具输入，使用Prompt实现，准确率比较有限。更适合少量的工具组合：受限于Prompt上文的长度，不能把几十个工具prompt全塞进去，因此更适合少量的工具组合一般是3~5个以内。
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
LLM大模型技术实战6：一文总结大模型微调方法-大模型微调技术路线
07-22
LLM大模型技术实战6：一文总结大模型微调方法_大模型微调技术路线
Deepspeed、LLM、Medical_Dialogue、医疗大模型、预训练、微调.zip
03-14
本文将围绕“Deepspeed、LLM、Medical_Dialogue、医疗大模型、预训练、微调”这些关键词，深入探讨相关知识点。 首先，Deepspeed是一个高效的深度学习训练优化库，由微软Azure团队开发。它提供了多种优化技术，包括...
微调和提示工程的最佳实践 LLM
01-18
全模型微调涉及更新所有模型参数以适应新任务，而参数效率微调则关注只更新部分参数，如在知识蒸馏中，较小的“学生”模型从较大的“教师”模型学习，保留大部分参数不变。此外，适配器微调（Adapter-tuning）通过在...
大规模语言模型：从理论到实践
09-11
大规模语言模型（Large Language Models，LLM），也称大规模语言模型 或大型语言模型 ，是一种 由包含数百亿以上参数的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标注文 本进行训练。自 2018 年以来...
SQLAgent 是一个 开源的（Open source）、大模型驱动的（LLM-Powered）
03-14
SQLAgent是一个专为私有化部署设计的开源Text2SQL智能体项目，它利用了大模型（Large Language Model，LLM）技术，旨在提供高效、安全的SQL查询生成能力。在当今数据驱动的世界中，SQL作为关系型数据库的主要查询...
量化LLM微调工具：用于量化微调大规模语言模型(LLM)的工具
11-18
QLoRA是一个用于量化微调大规模语言模型(LLM)的工具。它提供了有效的方法和技巧来进行LLM的微调，使得模型在特定任务上能够更好地适应和表现。QLoRA为量化LLM的研究和实践提供了一个有力的工具。
最全的开源 LLM （大语言模型）整理.zip
09-04
6. **预训练与微调**：大部分大语言模型都是先通过无监督学习进行预训练，然后在特定任务上进行微调，以适应不同应用场景。 7. **模型评估**：评价LLM的常用指标包括困惑度（Perplexity）、BLEU分数、ROUGE分数等，...
数据规模缩小 200 倍！超低训练成本的指令微调，完美复刻大模型.pdf
08-13
本文主要讨论的是大型语言模型（LLM）的指令微调问题，即如何在少量数据情况下，使用指令微调来提高模型的训练和推理效率。指令微调是一种微调方法，可以使模型更好地适应特定任务的需求，从而提高模型的性能。 ...
【NLP笔记】LLM应用之AI Agent & LangChain实战
weixin_36488653的博客
04-03 1824
AI Agent & LangChain
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1148
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
大模型学习笔记十四：Agent模型微调
最新发布
谢白羽
07-24 635
1、Agent Tuning 的主要动机是训练大模型的 Agent 能力，尤其是希望通过训练让小参数量模型也能具备特定业务场景的 Agent 能力；2、Agent Prompt 可以有不同的描述方式，通常包括等部分；3、可以采用自动评估和人工评估相结合的方法来评估 Agent 能力；4、采用 Meta-Agent 方法可以构建多样性的 Agent Prompt 模板，再结合Query、Tools的多样化，可以训练出能力更加泛化的模型。
llm 模型本地部署及微调流程
06-10
LLM（Language Learning Model）是一个基于预训练模型的自然语言处理框架，可以用于各种NLP任务，如文本分类、命名实体识别、情感分析等。下面是LLM模型的本地部署及微调流程： 1. 下载预训练模型 LLM模型基于预训练模型，可以通过Hugging Face官网下载预训练模型。选择相应的模型并下载到本地。 2. 安装LLM 可以使用pip命令安装LLM，命令如下： ``` pip install llm ``` 3. 加载预训练模型 使用LLM的load方法加载预训练模型，代码示例如下： ```python from llm.modeling import LLMForSequenceClassification model = LLMForSequenceClassification.from_pretrained('path/to/pretrained_model') ``` 4. 微调模型 使用LLM的train方法微调模型，代码示例如下： ```python import torch from llm.data import TextDataset, TextDataLoader from llm.training import LLMTrainer train_dataset = TextDataset('path/to/train_data', model.tokenizer) train_loader = TextDataLoader(train_dataset, batch_size=32, shuffle=True) optimizer = torch.optim.Adam(model.parameters(), lr=5e-5) trainer = LLMTrainer(model, optimizer) trainer.train(train_loader, epochs=3) ``` 5. 保存微调后的模型 使用LLM的save_pretrained方法保存微调后的模型，代码示例如下： ```python model.save_pretrained('path/to/fine_tuned_model') ``` 以上就是LLM模型的本地部署及微调流程。需要注意的是，在微调模型时，需要准备好训练数据，并且调整好超参数，以达到最佳的微调效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值