- 博客(82)
- 收藏
- 关注
RSS订阅原创 打造本地大模型地基，PVE 配置显卡直通_pve显卡直通
本文将详细介绍如何在虚拟化平台 Proxmox Virtual Environment（PVE）配置显卡直通，将宿主机上的物理显卡直接分配给 AI 虚拟机使用。1. 环境介绍1.1 硬件环境服务器： 科脑 X99-D4、2*32G DDR4 内存、Intel E5-2683 v4显卡：NVIDIA P104-100BIOS：开启 VT-x/VT-d 类似的虚拟化扩展本文选择纯矿卡 NVIDIA P104-100 作为演示，配置方法同样适用于其他型号显卡。1.2 软件环境虚拟化平台：Pr
2024-08-08 14:49:54
2623
原创 安装Pytorch如何选择CUDA的版本，看这一篇就够了_cuda版本怎么选
CUDA是一个并行计算平台和编程模型，能够使得使用GPU进行通用计算变得简单和优雅。Nvidia官方提供的CUDA 库是一个完整的工具安装包，其中提供了 Nvidia驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。Nvidia CUDANvidia安装的cuda是一个完整的cuda库，包含cuda toolkit和相应的驱动。主要包含三部分：CUDA toolkit、CUDA driver和NVIDIA GPU driver。理论上在安装完驱动以后只需要安装CUDA toolkit就可以
2024-08-08 14:49:17
2986
1
原创 初识LangChain的快速入门指南
LangChain是一个基于大语言模型用于构建端到端语言模型应用的框架，它提供了一系列工具、套件和接口，让开发者使用语言模型来实现各种复杂的任务，如文本到图像的生成、文档问答、聊天机器人等。开发阶段：使用LangChain的开源构建块和组件构建应用程序，利用第三方集成和模板快速启动。生产化阶段：使用LangSmith检查、监控和评估您的链，从而可以自信地持续优化和部署。部署阶段：使用LangServe将任何链转化为API。
2024-08-08 14:48:39
891
原创 AI大模型-关于推理、可解释性和 LLMs_ai 推理模型
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
2024-08-06 10:33:25
801
原创 转型AI产品经理需要掌握的硬知识（一）：AI产品经理能力模型和常见AI概念梳理_产品经理学ai
从现在的招聘市场来看，产品经理岗位已经出现大量细分，如数据产品经理，支付产品经理，ERP产品经理，CRM产品经，供应量产品经理，POP产品经理等，AI产品经理可能将成未来的一个主流细分岗位，而且因为AI对应的领域不同，AI产品经理下面将衍生出大量的细分行业AI产品经理。在讨论AI产品经理之前，我们来看看，非AI产品在公司中需要面对哪些角色，而面对这些角色需要的能力模型是什么，在这个基础上我们再来讨论AI产品经理的能力模型。
2024-08-06 10:32:46
1500
原创 大语言模型微调实践——LoRA 微调细节_lora微调的原理 旁路
在本文中，我们探讨了 LoRA 微调方法，并以 StarCoder 模型的微调为例介绍了实践过程。通过实践过程的经验来为大家展示一些细节及需要注意的点，希望大家也能通过这种低资源高效微调方法微调出符合自己需求的模型。。
2024-08-06 10:31:51
1119
原创 小白也能看懂 大模型的6个评估指标_大模型生成质量评估标准
近年来，随着深度学习技术的飞速发展，大型神经网络模型如BERT、GPT-3等已经成为自然语言处理、计算机视觉、语音识别等领域的重要工具。这些模型之所以称为"大型"，是因为它们通常包含数十亿甚至数千亿的参数，比以往的模型要庞大得多。然而，模型的规模庞大并不总是意味着性能更好，因此我们需要一套有效的方法来评估这些大型神经网络的性能。本文将探讨为什么要评估大型神经网络模型，以及如何使用一系列关键指标来评估它们。在深度学习领域，大型神经网络模型已经成为各种应用的核心。
2024-07-29 14:39:19
453
原创 如何打造你的AI大模型：开源大模型指南
本地大语言模型已知目前最强的gpt4等大模型是商用闭源的，这些模型参数更大，更加智能，为什么我们会关注开源模型呢？可以本地部署运行（利用自己的电脑或服务器，运行）数据交互不需要和外网连接，数据安全性提升不需要购买服务，不用开会员，跑在自己的电脑上，想用多少就用多少。
2024-07-29 14:38:49
674
原创 一张图看懂大模型性价比：能力、价格、并发量全面PK
百度最强模型的价格不变，但轻量模型把“厘时代”直接打到免费。不过需要注意的是，根据文心一言官网介绍，ERNIE Speed模型适用于精调，而精调还是要收费的。阿里云的模型全线降价，最强模型降幅低，轻量模型降幅高。所有价格应该都是经过了精密的测算，不会是随意拍的数。从价格来看还是颇有诚意，但初始支持的TPM/RPM稍显不足，企业在实际使用中需要对相关权益做好沟通。字节，火山引擎。当我们说起价格那些事儿，不由想起《明朝那些事儿》的经典台词：要么不做，要么做绝。
2024-07-29 14:38:18
514
原创 [NLP]如何训练自己的大型语言模型
大型语言模型，如OpenAI的GPT-4或Google的PaLM，已经席卷了人工智能领域。然而，大多数公司目前没有能力训练这些模型，并且完全依赖于只有少数几家大型科技公司提供技术支持。在Replit，我们投入了大量资源来建立从头开始训练自己的大型语言模型所需的基础设施。在本文中，我们将概述我们如何训练LLM（Large LanguageModels），从原始数据到部署到用户面向生产环境。
2024-07-26 15:29:54
433
原创 【深度学习】模型评价指标_深度学习模型指标it
另外，TP+FP表示所有被预测为正的样本数量，同理FN+TN为所有被预测为负的样本数量，TP+FN为实际为正的样本数量，FP+TN为实际为负的样本数量。P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。例如文本分类中，一个文本可以是宗教相关，也可以是新闻相关，所以它就可以有两个标签。
2024-07-26 15:28:54
794
原创 大模型Agent_人设、激励、问题拆解、行动能力
1、给大模型加外挂（1）外挂辅助输入（今天北京的天气如何） 外部调用日历：2023-10-17（2）外挂输出：日期：2023-10-17，目标：天气，调用工具：气象接口2、思维链条把复杂的问题进行拆解，不指望大模型一次回答出来，多调用几次大模型，解决复杂问题。3、prompt 设计模式CoT+prompt：给出指令，同时也给出执行任务过程的拆解或者样例。（1）“自我审视”，提醒模型在产出结果之前，先自我审视一下，看看是否有更好的方案。也可以拿到结果后再调用一下模型强制审视一下。
2024-07-26 15:27:57
1014
原创 私有化部署 Llama3 大模型, 支持 API 访问_ollama 利用api 接口 开发web
通过 ollama 本地运行 Llama3 大模型其实对我们开发来说很有意义，你可以私有化放服务上了。然后通过 api 访问，来处理我们的业务，比如翻译多语言、总结文章、提取关键字等等。你也可以安装 enchanted 客户端去直接访问这个服务 api 使用。
2024-07-24 14:27:13
877
原创 别再花钱买AI课了，到处都是国内可用且免费的AI工具+学习资料_ai for everyone 让模型开发使用 更简单 这个是收费的吗
前两天群里面到处在转一个飞书云文档，讲道理，以往硅基君看到的这种到处转发的文档，一般都是pdf或者ppt格式，内容大多劲爆刺激。比如渣男出轨聊天记录，渣女开房历史之类的，充分满足了小编当赛博判官的乐趣。可这飞书玩意不一样，标题为《通往AGI之路》的文档，是一篇实打实的学习资料。大家有多热爱学习呢，可以说无论什么时候点进去，里面都有几百个人在同时阅读，咱也把链接附上：通往 AGI 之路这份详实的学习资料是一位前大厂产品经理，当作业余爱好来维护的“AI百科全书”。
2024-07-24 14:26:29
938
原创 AI产品经理的产品开发流程_软件产品开发的流程和ai赋能
这一初始阶段集中在从业务角度理解项目的目标和要求，然后把理解转化为模型能力的定义和一个初步执行计划。不仅要有整体技术研判力（可行性、技术难度、关键技术点），还要有业务洞察力，可以定义出可执行有价值的好问题。⚠️注意：AI产品经理在本阶段要特别注意模型能力边界和模型类型确定。✳️这里说的模型类型除了回归、分类、聚类、序列之外，还要基于具体业务考虑其他情形， 比如在线还是离线，因为如果目标客户比较注重数据安全，可能就会要求私有化部署，不允许连接外网调用模型接口。
2024-07-24 14:25:13
1496
原创 AI大模型-关于推理、可解释性和 LLMs_ai 推理模型
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
2024-07-22 15:09:20
817
原创 AI产品经理一篇读透知识图谱（万字深度好文）
在维基百科的官方词条中：知识图谱是Google用于增强其搜索引擎功能的知识库。本质上, 知识图谱旨在描述真实世界中存在的各种实体或概念及其关系,其构成一张巨大的语义网络图，节点表示实体或概念，边则由属性或关系构成。现在的知识图谱已被用来泛指各种大规模的知识库。在具体介绍知识图谱的定义，我们先来看下知识类型的定义：知识图谱中包含三种节点：实体: 指的是具有可区别性且独立存在的某种事物。如某一个人、某一个城市、某一种植物等、某一种商品等等。世界万物有具体事物组成，此指实体。
2024-07-22 15:08:45
1510
原创 大模型「幻觉」，看这一篇就够了｜哈工大华为出品_大模型 幻觉的示例
大模型“幻觉”，终于有系统综述了！一口气，详细阐述了幻觉定义、分类、导致幻觉的原因，还有检测幻觉、减轻幻觉的方法。这篇最新综述来自哈工大和华为，一po出就在网上火得不行：具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为两大类。和，并给出了对应的减轻幻觉策略。一图预览，观感是这样婶儿的：可谓清晰又明了。找时间好好看。还有一位网友的评论亮了：有意思的是，论文太长，我得用ChatGPT帮我读。幻觉作为大模型的一种“通病”，找到了病根，也好对症下药。
2024-07-22 15:07:58
772
原创 利用这些“大模型部署工具”轻松部署属于你自己的AIGC大模型吧！
该工具由Fitten与清华大学联合开发，当前支持4个语言大模型，具体包括：ChatGLM、盘古、ChatRWKV、LLaMA。该工具链支持多种硬件设备，除了支持主流的NVIDIA、AMD、Ascend硬件外，还支持天数智芯、中科海光和摩尔线程的硬件设备！该工具链主要通过动态swap机制和Transformer加速库来加速语言大模型部署。
2024-07-18 10:47:06
473
原创 【微调大模型】如何利用开源大模型，微调出一个自己大模型_大模型训练和微调框架
最近对大模型这部分内容比较感兴趣，作者最早接触大模型是22年下半年的时候。当时觉得非常amazing，并认为这是一个颠覆性的工作，目前随着开源大模型的逐渐变多。我觉得我们得学习并了解这些基础知识，以便后续在工作中可以学习并使用。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。微调所有层：将预训练模型的所有层都参与微调，以适应新的任务。微调顶层：只微调预训练模型的顶层，以适应新的任务。冻结底层。
2024-07-18 10:46:27
1127
原创 企业大模型微调项目落地实施中有哪些关键岗位角色？_在业务推进中实际的去熟悉大模型的微调涉及到的
随着人工智能技术的快速发展，大型企业纷纷投入到大型模型（如大语言模型、多模态大模型等）的研发与应用中。大模型因其强大的理解和生成能力，在各个领域都有着广泛的应用前景。然而，要将大模型真正应用于实际场景，为企业带来价值，就需要进行微调项目，这是一个涉及技术研发、数据处理、模型训练与优化等多个环节的复杂过程。企业在实施大模型微调项目时，往往面临着一系列挑战，如技术选型、团队组建、职责分工不明确等问题。
2024-07-18 10:45:52
1236
原创 大模型时代程序员应有的正确姿势，如何快速入门大模型_大模型开发学习
这种现象的真实原因仍有待进一步研究，但是现有的部分中文大语言模型其 Tokenizer 部分是存在缺陷的，简单讲，中文历史上存在单字成词的传统，理论上在 Tokenizer 中除了单字和成语，不应该出现常见字的两字组合（鸳鸯、麒麟、凤凰等是特例），更进一步的，如果字出现的频率不高，单字也可以不出现（回退到 OpenAI 的方案）。但是，拥有了堪称强大的自然语言处理工具的现下，我们要解决的现实问题远没有得到解决，这甚至不是结束的开始，充其量只是开始的结束。对于非数学专业和多数工科背景的人这个要求足以劝退。
2024-07-16 10:42:26
512
原创 10条提升大模型任务微调效果的tricks_pe的时候限制模型输出格式的好处
在大型语言模型（LLMs）的研究和应用中，如何通过微调来适应特定任务是一个关键问题。尽管提示工程（PE）在提升LLMs的零样本学习和上下文内学习方面取得了显著成效，但关于如何设计有效的微调样本以进一步提升LLMs性能的研究还相对欠缺。为解决上述问题，提出了，这是一种系统化的方法，旨在通过精细化设计来增强LLMs在特定任务上的表现。
2024-07-16 10:41:56
425
原创 全站首发！2024最新大模型LLM学习路线图来了！_大模型技术路线
ChatGPT的出现在全球掀起了AI大模型的浪潮，2023年可以被称为AI元年，AI大模型以一种野蛮的方式，闯入你我的生活之中。从问答对话到辅助编程，从图画解析到自主创作，AI所展现出来的能力，超出了多数人的预料，让不少人惊呼：“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。
2024-07-16 10:41:11
969
原创 别再被大模型骗了，一个小技巧，让LLaMa3诚信度提升65%
这项研究工作为构建更值得信赖、有益人类的大语言模型探索了一条新路径。随着人工智能触角的不断延伸，诚实可靠的AI助手将成为人们工作和生活中不可或缺的一部分。用户需要AI能开诚布公地认识到自身的局限，同时又能创新性地给出有针对性的协助。当然，塑造一个诚实守信的AI助手并非一蹴而就。譬如，随着大模型应用场景的拓展，我们需要持续更新对诚信AI的要求；在技术层面，还要进一步探索更高效、更精准的优化算法。这需要学界和业界的通力协作。。
2024-07-11 10:49:26
435
原创 【大模型实战案例】手把手教大家微调大模型 Llama 3_llama3模型微调
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-07-11 10:48:48
935
原创 国产AI大模型哪家强？十大维度横评四款主流大模型！_国内ai大模型哪个最好
这部分的最后，我们来看看四款大模型对文本的总结提炼能力。小编从IT之家随机选择了一篇新闻资讯，分别让四款大模型将这篇新闻总结成一句话的摘要。先看文心一言的表现，虽然是总结了，意思也正确，但总结得比较啰嗦，而且不符合“一句话”的要求：通义千问也有类似的问题，总结啰嗦，而且超过一句话的限制：360 智脑在这一项中表现不错，一句话准确总结了这段文章的大意：讯飞星火提炼得也很精炼，一句话搞定，而且意思准确。在这一环节，四款大模型产品的得分分别为：讯飞星火：10 分通义千问：8 分（摘要提炼 - 2）
2024-07-11 10:48:08
1829
原创 一文详解大模型微调常用方法_大模型微调数据集怎么标注
最近，深度学习的研究中出现了许多大型预训练模型，例如 GPT-3、ChatGPT、GPT4、ChatGLM-130B 等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT 模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
2024-07-09 15:12:29
801
原创 全球AI 大模型全栈技术研究报告 2024_ai大模型具有强通用性
经过大规模预训练的大模型，能够在各种任务中达到更高的准确性、降低应用的开发门槛、增强模型泛化能力等，是AI 领域的一项重大进步。大模型最早的关注度源于 NLP 领域，随着多模态能力的演进，CV 领域及多模态通用大模型也逐渐成为市场发展主流。政企的极大关注带动了行业领域大模型的高速发展，逐渐形成了多模态基模型为底座的领域大模型和行业大模型共同发展的局面。伴随基于大模型发展的各类应用的爆发，尤其是生成式 AI，为用户提供突破性的创新机会，打破了创造和艺术是人类专属领域的局面。
2024-07-09 15:11:46
1980
原创 菜鸟教程：从0开始离线部署私有大模型_离线大模型
大模型的使用必将包含以下三个阶段：1. 直接使用，用于提效2. 使用 API 定制应用程序3. 离线部署+微调，实现私有数据模型化第一个阶段已经完成，作为技术者应该关注第二、三阶段。1. 环境安装和配置我们以清华大学开源的 ChatGLM-6B 语言模型为例。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。
2024-07-09 15:10:56
1679
原创 AI大模型变革职场：职场人迎来的双刃剑——惊喜与挑战并存
AI大模型的到来，就像是给职场带来了一场"惊喜派对虽然它带来了一些"惊吓"，但更多的是惊喜和机遇。作为职场人，我们需要拥抱变化，不断提升自己，才能在这个派对中成为最耀眼的明星。记住，AI可以取代我们的工作，但它永远取代不了我们的智慧和幽默。那么，我们该如何学习大模型？作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
2024-07-05 14:33:32
828
原创 2024年AIGC行业研究：多模态大模型与商业应用_
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大量数据训练而成的人工智能系统，可根据用户的个性化指令生成文本、音频、图像、代码等内容。自2022年频频出圈的ChatGPT推出以来，生成式AI在游戏、影视、出版、金融、数字人等多个应用场景中展现出巨大潜力和价值。
2024-07-05 14:32:15
2271
原创 大模型的高考数学成绩单：及格已经非常好了
让考生头皮发麻的高考数学，可难倒了顶尖 AI 大模型。一年一度的高考即将落幕，衷心希望各位考生都超常发挥，考出满意的好成绩！！和往年一样，除了让 AI 大模型写写高考作文，我们也选取了六家国内头部大模型公司的产品与考生们一同参与一场客观且公平（让众多考生头皮发麻）的高考数学考试（新课标 Ⅰ 卷），其中包括 GPT-4o、GLM-4、文心一言 4.0、豆包、百小应（百川 4）以及通义千问 2.5。
2024-07-04 14:16:35
769
原创 国内 AI大模型产业发展深度分析 2024
文心一言是百度研发的人工智能大语言模型产品，具备跨模态、跨语言的深度语义理解与生成能力，在文学创作、文案创作、搜索问答、多模态生成、数理逻辑推算等众多领域都能为用户提供高质量服务。文心一言拥有四大基础能力：理解能力、生成能力、逻辑能力、记忆能力。（2）大模型优势：2023 年 10 月发布的“文心大模型 4.0”，相比上一代文心大模型，四大能力显著升级，其中逻辑提升幅度是理解的 3 倍，记忆提升幅度是理解的 2 倍。
2024-07-04 14:15:49
2953
原创 AI大模型：解锁未来职业竞争力的金钥匙
从日常的问答对话到复杂的编程辅助，乃至创意图像生成，AI大模型展现出超乎想象的能力，预示着“未来已来”，并成为互联网行业的新宠。大模型，即拥有庞大参数量和复杂度的机器学习模型，广泛应用于自然语言处理（NLP）、计算机视觉（CV）、科学计算和多模态处理等，如Open AI的GPT系列、腾讯的PCAM、华为的盘古气象模型及谷歌的Vision Transformer。即便已有编程经验，转向大模型仍极具价值。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。
2024-07-01 17:00:07
846
原创 深度探索大模型时代的软件架构最佳范式，攻略就绪、就等你来
来自 vivo、知乎、高德地图、Uber 、蚂蚁集团、eBay、货拉拉、快手、哔哩哔哩、携程等企业的技术专家将在 2 天大会中分别分享各自领域对于 AI 大模型的应用探索和进展。此外，其它专题论坛中也不乏行业级的技术应用实践分享，比如宁德核电基于大模型的 AI 讲师开发实践、微众银行大模型助效研发实践、天弘基金的 AI Agent 探索实践、蚂蚁集团支付宝在 AI 与 LowCode 结合方面的探索、平安壹钱包基于大模型在 ToC 应用层面的探索与落地等等，都非常值得关注。机会难得，名额有限。
2024-07-01 16:59:28
1309
原创 聊一聊国内大模型公司面经和感受
这段时间面试了很多家，也学到了超级多东西。楼主这边背景是做基座预训练算法端为主的，对框架端和RL的内容有一定了解（面试能凑合），对于后端的知识比如ML compiler，kernel，cuda相关的了解就比较浅了（问到觉大概率挂）。硬件几乎不太懂。感觉一圈聊下来几点感悟:大模型这方向真的卷，面试时好多新模型，新paper疯狂出，东西出的比我读的快。Research岗位对工程也有要求，工程端也需要了解模型。感觉比较硬核的岗位，尤其初创公司都是对好几个点都有要求的（应用，模型，框架，底层后端，硬件）。
2024-07-01 16:58:54
962
原创 AI大模型-关于推理、可解释性和 LLMs_ai 推理模型
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。-END-👉AGI大模型学习路线汇总👈大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
2024-06-28 14:35:03
836
原创 LLM 大模型学习：Agent微调最佳实践_agengt格式下如何保证llm调用工具准确
通过SWIFT支持的Agent训练能力，我们使用ms-agent和ms-bench对qwen-7b-chat模型进行了微调。可以看到微调后模型保留了通用知识问答能力，并在system字段增加了API的情况下可以正确调用并完成任务。训练从LoRA变为全参数训练，知识遗忘问题会更加严重，数据集混合比例需要实际测试调整部分模型可能在训练后仍然调用效果不佳，可以测试该模型本身预训练能力是否扎实Agent训练集格式、语种有细节改变后，对应推理阶段的格式也需要相应调整，否则可能效果不佳重要位置的\n。
2024-06-28 14:32:35
1269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人