大模型微调选型指南：我的企业需要微调或者训练一个自己的大模型吗？还是RAG更适合我？先说结论：微调duck不必

最新推荐文章于 2025-05-09 14:51:52 发布
最新推荐文章于 2025-05-09 14:51:52 发布
阅读量1.2k 收藏 17
点赞数 14
文章标签： llama3 lora微调 大模型微调 rag 开源大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/witforeveryang/article/details/138290314
版权

图片

大家可能看到网上有很多教大家微调大模型的教程，但是大多数作者往往都没有告诉我们微调适用于哪些场景，而哪些场景不需要微调。

对大模型还不甚了解的客户可能会问：我的企业需要花时间精力微调或者训练一个自己的大模型吗？

今天我就用实际案例给大家来分享一下我们对这个问题的看法，如有不对之处，欢迎大家纠正，共同交流学习。

先说结论：大多数情况下都不需要自己训练，直接使用开源的大模型即可

图片

为什么这么说呢？

因为微调后AI大模型并不会严格按照你的数据进行回答，所以如果您是政务，医疗，法律等对回答准确度要求很高的客户，不能答错一个字，则您需要的是AI语义匹配算法，而不是训练大模型。

下面我就用一个实际例子来跟大家展示实际微调后的效果，这是一个医疗问诊开源大模型微调的项目

图片

上面用户的问题是：想咨询哪些保健品适合爷爷奶奶

训练数据首先提到可以尝试：鱼油 ；二  烟酸 三 叶黄素 

作者用50多万条实际医疗问诊数据来微调拉玛模型，这是其中一条问题，同时也是训练数据，我们现在看看训练后同样的问题是否会产生同样的答案

最低0.47元/天 解锁文章
明羊羊
关注
国产大模型微调准备指南：模型选型 × 数据格式 × 环境配置一次讲清
努力分享一些人工智能相关的知识干货！
04-04 682
从实际落地出发，系统整理微调前你必须搞清楚的三件事： 模型怎么选？（不是“越大越好”） 数据怎么构？（别乱写 json，格式不对模型不学） 环境怎么配？（依赖一堆？显存爆炸？提前防坑）
企业落地大模型的路径选择：微调、RAG、提示词工程
python122_的博客
08-12 1396
与传统应用不同，模型的输出是不确定的，即使多次问它一样的问题，给出的结果也可能不一样。这种特性对于日常应用业务 OK，但是如果要在企业内用来处理具体业务问题，就必须提高这个稳定性，否则影响生产经营，例如产线操作人员通过模型获取操作步骤或者参数，如果步骤或者数据不对可能会导致产品出现质量问题等等。模型一旦训练好，就无法再补充数据，因此模型不会了解你自己组织内部的年假规定，注意事项。如何让大模型掌握这些数据是另外一个需要解决的问题。
RAG vs Fine-tuning
whaosoft143ai的博客
02-16 488
本文提出了一个全面的大语言模型流程，用于生成高质量的、行业特定的问题和答案。可获得的文档包括了有关作物和牲畜管理、疾病和最佳实践的联邦法规和政策信息，质量保证和出口法规，援助计划的详细信息，以及保险和定价指南。研究中评估了经过微调和检索增强生成的语言模型，使用与背景相关的问题和答案数据集，这些数据集来源于三个主要的作物生产国：美国、巴西和印度。总体上，虽然 GPT-4 通常将生成的问答对评价为更具流畅性和上下文真实性，但与 GPT-3.5 的评分相比， 它们的多样性和相关性较低。whaosoft aiot
垂直领域大模型微调实践经验最全总结
最新发布
m0_59164520的博客
05-09 943
本篇从基座模型选择、模型整体架构、数据设计、训练微调四个角度总结垂直领域大模型微调经验。
大模型微调技术选型方案
程序员鑫港的博客
12-25 1179
人工智能 四轮技术特点对比中美两国在人工智能领域的对比2：大模型发展迅速，出现百模井喷的现象：国外以GPT为主，GPT 发展也是在不断地迭代，国内以阿里、腾讯、百度，清华智普为领军为主3: 为什么需要微调大模型：预训练成本高昂：对于一个拥有65B参数的模型来说，其预训练过程需要消耗高达780GB的显存资源。这样的资源消耗对于大多数组织来说都是一个巨大的负担。提示工程的局限性：尽管提示工程是一种有效的技术，但它存在一定的天花板。
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型（文末福利）
瓦罗兰特顶级C位的博客
06-11 5550
近年来，大模型在AI领域崭露头角，成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出，大模型展现出了强大的语言生成、理解和多任务处理能力，预示着智能化转型的新阶段。
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型
youmaob的博客
07-24 6473
这里先盘点一下最近比较火爆的几个工具，将从知识库侧和大模型侧分别介绍。这六种。AnythingLLM 是 Mintplex Labs Inc. 开发的一款可以与任何内容聊天的私人 ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。其采用MIT许可证的开源框架，支持快速在本地部署基于检索增强生成（RAG）的大模型应用。在不调用外部接口、不发送本地数据的情况下，确保用户数据的安全。
为什么说大模型微调是每个人都必备的核心技能？
musicml的博客
10-27 749
▼最近直播超级多，预约保你有收获近期直播：《基于开源 LLM 大模型的微调（Fine tuning）实战》0—为什么要对 LLM 大模型进行微调（Fine tuning）？LLM 大模型（比如：ChatGPT-4.0）已经很强大了，为什么还需要微调？主要有如下 4 点原因：第一、缺乏专有数据，比如：企业内部的私有数据。第二、缺乏最新数据，比如：GPT-4的训练数据截止到2021年9月。第三、预...
大模型微调与RAG的选型建议
lvaolan123456的博客
06-19 1111
这里我分几个方面来进行对比吧。首先是知识层面，这个应该是RAG使用者最关心的。RAG对知识的更新时间和经济成本更低。不需要训练，只需要更新数据库即可。RAG对知识的掌控力会更强，相比微调更不用担心学不到或者是遗忘的问题。但是如果模型强缺乏某个领域的知识，足量数据的微调才能让模型对该领域有基本的概念，如果不具备领域知识基础，RAG仍旧无法正确回答。然后是具体任务效果的问题。RAG相比微调能更容易获得更好的效果，突出的是稳定性、可解释性。
lamda模型结构是什么？
weixin_42596214的博客
01-05 741
Lambda模型是一种双层模型，包含两个子模型：一个用于语义解析和一个用于生成回答。 第一层模型，即语义解析模型，用于将输入问题转换为抽象语义表示(ASR)。这通常是一个神经网络，它从输入文本中提取意义，并将其转换为一种内部表示，可以被生成模型理解。 第二层模型，即生成模型，用于将ASR转换为输出回答。这也通常是一个神经网络，它使用ASR和预先训练的语言模型来生成输出文本。 Lambda模型通常用...
【转载】大模型高效微调框架LLaMA-Factory技术原理解析 | SciSci AI Workshop
Working harder, getting stronger!
03-13 1856
转载链接：https://www.bilibili.com/video/BV1tQ4y1j7KF/?大模型高效微调框架LLaMA-Factory技术原理解析 - 郑耀威先生。
大模型入门（一）—— LLaMa/Alpaca/Vicuna
chaishen10000的专栏
06-15 5866
相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码实现和开源模型。Alpaca是斯坦福在LLaMa-7B的基础上监督微调出来的模型，斯坦福是用OpenAI的Text-davinci-003 API配合self-instruct技术，使用175个提示语种子自动生成了52K条提示-回复的指示数据集，在LLaMa-7B上微调得到的模型，在8张80G的A100上训练了3小时。
window11 本地部署大模型拉玛3（llama3）
weixin_45070882的博客
01-17 1027
本地部署可以离线访问的大语言模型，可以通过浏览器随时随地进行交互，不需要购买任何服务器只需要在您自己的笔记本电脑上 就可以完成整个的安装和部署，使用的软件都是开源免费的不需要缴纳任何费用，支持国内外主流的大模型可以使用语言对话，也可以嵌入到自己网站上做一个智能客服或者AI助手。
Meta 发布地表最大、最强大模型 Llama 3.1
机器学习社区
07-28 955
Llama 3.1 405B 是第一个在通用知识、操控性、数学、工具使用和多语言翻译等方面达到当前先进水平的 AI 模型。随着 405B 模型的发布，我们将全力推动创新，带来前所未有的增长和探索机会。我们相信，新一代拉玛将引发新的应用和建模范式，包括合成数据生成，以帮助改进和训练较小的模型，以及模型蒸馏——这是在开源领域从未实现过的能力。在此次最新版本中，我们推出了升级版的8B和70B模型。这些模型支持多种语言，上下文长度大幅提升至128K，具备最先进的工具使用能力和整体更强的推理能力。
通用大模型训练过程必须经历的四个阶段！
热门推荐
2301_78285120的博客
12-15 1万+
以上4个阶段构成了完整的GPT模型训练的pipeline，从中可以看出训练大模型是一个非常艰巨的任务，例如对庞大算力资源的要求、对高质量语料数据的要求。另外，在训练大模型的时候一般需要基于一些优化框架，如DeepSpeed，这些工程化方面的任务也有不少坑。因此，对于一般的企业而言通常不建议自己训练基础大模型，如果必须进行私有化部署，可以根据实际情况选择一款开源大模型，如有必要可基于开源大模型进行微调，通过这个途径可以用比较少的投入来高效地落地大模型应用。
LLaMA系列模型
wdn blog
12-18 3657
2023年2月，Meta（原Facebook）推出了LLaMA大模型，在相关评测任务上的效果可以媲美甚至超过千亿级大模型，被认为是近期开源大模型百花⻬放的开端之一，“羊驼”系列模型及其生态快速发展。
LLaMA 羊驼系大语言模型的前世今生
跟着大数据和AI去旅行
05-06 3354
Llama3作为最新版本，以其逼近 GPT-4 的性能、大规模数据驱动的学习以及高效训练流程，巩固了 Meta 在开源大模型领域的领先地位，并推动了人工智能在社交、商业和其他领域的广泛应用。LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。作为该系列的初代模型，Llama 是一个纯粹的基座语言模型，设计目标是提供一个开放且高效的通用语言理解与生成平台。许可的情况下发布了LLaMA的模型权重，供研究人员参考和使用。
Llama 3.2 它来了～ 主打 VLM+轻量化
xx_nm98的博客
09-26 2953
原文链接：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/今天，我们发布了Llama 3.2版本，其中包括适用于边缘设备和移动设备的小型和中型视觉LLM（11B和90B），以及适用于轻量级文本模型（1B和3B）。羊驼3.2 1B和3B模型支持128K个令牌的上下文长度，在设备上的使用案例如摘要、指令跟随和本地边缘运行的重写任务方面处于同类产品的领先地位。
大模型微调到底有没有必要？收藏这一篇就够了！
Everly_的博客
09-30 1401
本文讨论：“什么时候应该进行微调，什么时候应该考虑其他技术？
我需要做一个DBA技术专家的 知识库模型， 我第一步应该做什么？是选择基础大模型和架构选型吗？ 我希望得到一个全过程，我可以自主的进行 训练数据以及微调，并有工具可以进行分析展示
02-18
构建一个面向**DBA（数据库管理员）技术专家**的知识库模型是一个系统工程，需要从需求分析、数据准备、模型选型到工具链设计的全流程规划。以下是分步骤的完整指南，帮助你自主完成训练、微调及分析展示： --- ##...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值