大模型微调选型指南：我的企业需要微调或者训练一个自己的大模型吗？还是RAG更适合我？先说结论：微调duck不必

最新推荐文章于 2025-01-17 12:36:36 发布
最新推荐文章于 2025-01-17 12:36:36 发布
阅读量1.2k 收藏 17
点赞数 14
文章标签： llama3 lora微调 大模型微调 rag 开源大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/witforeveryang/article/details/138290314
版权

图片

大家可能看到网上有很多教大家微调大模型的教程，但是大多数作者往往都没有告诉我们微调适用于哪些场景，而哪些场景不需要微调。

对大模型还不甚了解的客户可能会问：我的企业需要花时间精力微调或者训练一个自己的大模型吗？

今天我就用实际案例给大家来分享一下我们对这个问题的看法，如有不对之处，欢迎大家纠正，共同交流学习。

先说结论：大多数情况下都不需要自己训练，直接使用开源的大模型即可

图片

为什么这么说呢？

因为微调后AI大模型并不会严格按照你的数据进行回答，所以如果您是政务，医疗，法律等对回答准确度要求很高的客户，不能答错一个字，则您需要的是AI语义匹配算法，而不是训练大模型。

下面我就用一个实际例子来跟大家展示实际微调后的效果，这是一个医疗问诊开源大模型微调的项目

图片

上面用户的问题是：想咨询哪些保健品适合爷爷奶奶

训练数据首先提到可以尝试：鱼油 ；二  烟酸 三 叶黄素 

作者用50多万条实际医疗问诊数据来微调拉玛模型，这是其中一条问题，同时也是训练数据，我们现在看看训练后同样的问题是否会产生同样的答案

最低0.47元/天 解锁文章
明羊羊
关注
国产大模型微调准备指南：模型选型 × 数据格式 × 环境配置一次讲清
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-04 620
从实际落地出发，系统整理微调前你必须搞清楚的三件事： 模型怎么选？（不是“越大越好”） 数据怎么构？（别乱写 json，格式不对模型不学） 环境怎么配？（依赖一堆？显存爆炸？提前防坑）
企业落地大模型的路径选择：微调、RAG、提示词工程
python122_的博客
08-12 1375
与传统应用不同，模型的输出是不确定的，即使多次问它一样的问题，给出的结果也可能不一样。这种特性对于日常应用业务 OK，但是如果要在企业内用来处理具体业务问题，就必须提高这个稳定性，否则影响生产经营，例如产线操作人员通过模型获取操作步骤或者参数，如果步骤或者数据不对可能会导致产品出现质量问题等等。模型一旦训练好，就无法再补充数据，因此模型不会了解你自己组织内部的年假规定，注意事项。如何让大模型掌握这些数据是另外一个需要解决的问题。
RAG vs Fine-tuning
whaosoft143ai的博客
02-16 478
本文提出了一个全面的大语言模型流程，用于生成高质量的、行业特定的问题和答案。可获得的文档包括了有关作物和牲畜管理、疾病和最佳实践的联邦法规和政策信息，质量保证和出口法规，援助计划的详细信息，以及保险和定价指南。研究中评估了经过微调和检索增强生成的语言模型，使用与背景相关的问题和答案数据集，这些数据集来源于三个主要的作物生产国：美国、巴西和印度。总体上，虽然 GPT-4 通常将生成的问答对评价为更具流畅性和上下文真实性，但与 GPT-3.5 的评分相比， 它们的多样性和相关性较低。whaosoft aiot
大模型微调技术选型方案
程序员鑫港的博客
12-25 1146
人工智能 四轮技术特点对比中美两国在人工智能领域的对比2：大模型发展迅速，出现百模井喷的现象：国外以GPT为主，GPT 发展也是在不断地迭代，国内以阿里、腾讯、百度，清华智普为领军为主3: 为什么需要微调大模型：预训练成本高昂：对于一个拥有65B参数的模型来说，其预训练过程需要消耗高达780GB的显存资源。这样的资源消耗对于大多数组织来说都是一个巨大的负担。提示工程的局限性：尽管提示工程是一种有效的技术，但它存在一定的天花板。
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型（文末福利）
瓦罗兰特顶级C位的博客
06-11 5394
近年来，大模型在AI领域崭露头角，成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出，大模型展现出了强大的语言生成、理解和多任务处理能力，预示着智能化转型的新阶段。
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型
youmaob的博客
07-24 6306
这里先盘点一下最近比较火爆的几个工具，将从知识库侧和大模型侧分别介绍。这六种。AnythingLLM 是 Mintplex Labs Inc. 开发的一款可以与任何内容聊天的私人 ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。其采用MIT许可证的开源框架，支持快速在本地部署基于检索增强生成（RAG）的大模型应用。在不调用外部接口、不发送本地数据的情况下，确保用户数据的安全。
为什么说大模型微调是每个人都必备的核心技能？
musicml的博客
10-27 736
▼最近直播超级多，预约保你有收获近期直播：《基于开源 LLM 大模型的微调（Fine tuning）实战》0—为什么要对 LLM 大模型进行微调（Fine tuning）？LLM 大模型（比如：ChatGPT-4.0）已经很强大了，为什么还需要微调？主要有如下 4 点原因：第一、缺乏专有数据，比如：企业内部的私有数据。第二、缺乏最新数据，比如：GPT-4的训练数据截止到2021年9月。第三、预...
大模型微调与RAG的选型建议
lvaolan123456的博客
06-19 1098
这里我分几个方面来进行对比吧。首先是知识层面，这个应该是RAG使用者最关心的。RAG对知识的更新时间和经济成本更低。不需要训练，只需要更新数据库即可。RAG对知识的掌控力会更强，相比微调更不用担心学不到或者是遗忘的问题。但是如果模型强缺乏某个领域的知识，足量数据的微调才能让模型对该领域有基本的概念，如果不具备领域知识基础，RAG仍旧无法正确回答。然后是具体任务效果的问题。RAG相比微调能更容易获得更好的效果，突出的是稳定性、可解释性。
lamda模型结构是什么？
weixin_42596214的博客
01-05 731
Lambda模型是一种双层模型，包含两个子模型：一个用于语义解析和一个用于生成回答。 第一层模型，即语义解析模型，用于将输入问题转换为抽象语义表示(ASR)。这通常是一个神经网络，它从输入文本中提取意义，并将其转换为一种内部表示，可以被生成模型理解。 第二层模型，即生成模型，用于将ASR转换为输出回答。这也通常是一个神经网络，它使用ASR和预先训练的语言模型来生成输出文本。 Lambda模型通常用...
【转载】大模型高效微调框架LLaMA-Factory技术原理解析 | SciSci AI Workshop
Working harder, getting stronger!
03-13 1815
转载链接：https://www.bilibili.com/video/BV1tQ4y1j7KF/?大模型高效微调框架LLaMA-Factory技术原理解析 - 郑耀威先生。
大模型入门（一）—— LLaMa/Alpaca/Vicuna
chaishen10000的专栏
06-15 5828
相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码实现和开源模型。Alpaca是斯坦福在LLaMa-7B的基础上监督微调出来的模型，斯坦福是用OpenAI的Text-davinci-003 API配合self-instruct技术，使用175个提示语种子自动生成了52K条提示-回复的指示数据集，在LLaMa-7B上微调得到的模型，在8张80G的A100上训练了3小时。
window11 本地部署大模型拉玛3（llama3）
weixin_45070882的博客
01-17 999
本地部署可以离线访问的大语言模型，可以通过浏览器随时随地进行交互，不需要购买任何服务器只需要在您自己的笔记本电脑上 就可以完成整个的安装和部署，使用的软件都是开源免费的不需要缴纳任何费用，支持国内外主流的大模型可以使用语言对话，也可以嵌入到自己网站上做一个智能客服或者AI助手。
Meta 发布地表最大、最强大模型 Llama 3.1
机器学习社区
07-28 929
Llama 3.1 405B 是第一个在通用知识、操控性、数学、工具使用和多语言翻译等方面达到当前先进水平的 AI 模型。随着 405B 模型的发布，我们将全力推动创新，带来前所未有的增长和探索机会。我们相信，新一代拉玛将引发新的应用和建模范式，包括合成数据生成，以帮助改进和训练较小的模型，以及模型蒸馏——这是在开源领域从未实现过的能力。在此次最新版本中，我们推出了升级版的8B和70B模型。这些模型支持多种语言，上下文长度大幅提升至128K，具备最先进的工具使用能力和整体更强的推理能力。
通用大模型训练过程必须经历的四个阶段！
热门推荐
2301_78285120的博客
12-15 1万+
以上4个阶段构成了完整的GPT模型训练的pipeline，从中可以看出训练大模型是一个非常艰巨的任务，例如对庞大算力资源的要求、对高质量语料数据的要求。另外，在训练大模型的时候一般需要基于一些优化框架，如DeepSpeed，这些工程化方面的任务也有不少坑。因此，对于一般的企业而言通常不建议自己训练基础大模型，如果必须进行私有化部署，可以根据实际情况选择一款开源大模型，如有必要可基于开源大模型进行微调，通过这个途径可以用比较少的投入来高效地落地大模型应用。
LLaMA系列模型
wdn blog
12-18 3591
2023年2月，Meta（原Facebook）推出了LLaMA大模型，在相关评测任务上的效果可以媲美甚至超过千亿级大模型，被认为是近期开源大模型百花⻬放的开端之一，“羊驼”系列模型及其生态快速发展。
大模型微调到底有没有必要？收藏这一篇就够了！
Everly_的博客
09-30 1328
本文讨论：“什么时候应该进行微调，什么时候应该考虑其他技术？
LLaMA 羊驼系大语言模型的前世今生
跟着大数据和AI去旅行
05-06 3194
Llama3作为最新版本，以其逼近 GPT-4 的性能、大规模数据驱动的学习以及高效训练流程，巩固了 Meta 在开源大模型领域的领先地位，并推动了人工智能在社交、商业和其他领域的广泛应用。LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。作为该系列的初代模型，Llama 是一个纯粹的基座语言模型，设计目标是提供一个开放且高效的通用语言理解与生成平台。许可的情况下发布了LLaMA的模型权重，供研究人员参考和使用。
Llama 3.2 它来了～ 主打 VLM+轻量化
xx_nm98的博客
09-26 2879
原文链接：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/今天，我们发布了Llama 3.2版本，其中包括适用于边缘设备和移动设备的小型和中型视觉LLM（11B和90B），以及适用于轻量级文本模型（1B和3B）。羊驼3.2 1B和3B模型支持128K个令牌的上下文长度，在设备上的使用案例如摘要、指令跟随和本地边缘运行的重写任务方面处于同类产品的领先地位。
针对中大型企业，用开源大模型搭建企业智能客服，有什么产品选型方案
最新发布
03-21
<think>嗯，用户想了解如何利用开源大模型为中大型企业搭建智能客服，并寻求产品选型建议。首先，我需要明确他们的需求。智能客服通常需要处理自然语言理解、多轮对话、意图识别，可能还要集成到现有系统里，比如CRM或者工单系统。 然后，我得考虑开源大模型的选型因素。性能肯定是首要的，模型的效果直接影响用户体验。接着是算力需求，中大型企业可能有自己的服务器，但也要考虑成本。可定制性也很重要，每个企业的需求不同，可能需要微调模型。另外，部署方式、社区支持和合规性也是关键点。 接下来，我需要列出一些合适的开源模型。Meta的LLaMA系列应该不错，尤其是LLaMA 3.1 405B，参数规模大，适合复杂场景。Mistral Large 2在上下文理解和多轮对话方面表现好，可能适合客服。DeepSeek-V2的计算效率高，适合需要快速响应的场景。还有Falcon-180B，多语言支持强，适合国际化企业。 然后要考虑技术架构，可能需要分层处理，比如接入层、对话引擎、知识库、业务集成和数据分析。每个部分都需要相应的技术支持，比如Nginx做接入，对话引擎整合模型，向量数据库存储知识，API对接业务系统，Prometheus做监控。 部署方案方面，私有化部署适合数据敏感的企业，混合云可以平衡成本和安全性，容器化部署方便扩展。成本方面，硬件、数据准备、运维和定制开发都需要预算。 产品选型建议部分，需要根据不同需求推荐模型，比如复杂任务选LLaMA，多轮对话用Mistral，高并发选DeepSeek，多语言用Falcon。还要考虑企业现有架构，是否有GPU资源，是否需要定制开发团队。 可能还需要提到实施步骤，从需求分析到部署监控的流程。以及成功案例，比如电商或金融行业的应用，增强说服力。 最后，用户可能会有后续问题，比如具体部署细节、模型微调方法或成本优化，这些可以作为相关问题推荐。同时，引用提供的资料，比如引用里的商业化落地方案和视频教程，能增加可信度。</think>以下是为中大型企业搭建智能客服系统的开源大模型选型方案及实施建议： ### 一、智能客服核心需求分析 1. **自然语言理解（NLU）**：支持多轮对话、意图识别和情感分析 2. **知识库整合**：需对接企业文档库（PDF/Word/数据库），推荐使用$$RAG（检索增强生成）$$技术[^1] 3. **响应速度**：平均响应时间需控制在$t<1s$，支持$QPS\geq100$的高并发 4. **系统集成**：需提供API对接企业CRM、工单系统等 ### 二、开源大模型选型关键指标 | 指标 | 说明 | 推荐值 | |--------------|---------------------------|------------------------| | 模型参数量 | 影响理解能力 | $70B \sim 200B$[^2] | | 上下文窗口 | 多轮对话支持 | $\geq16k$ tokens | | 微调成本 | 企业定制化需求 | $\leq100$ GPU hours | | 推理成本 | TCO（总拥有成本） | $\leq0.5$/千次请求 | ### 三、推荐开源模型及对比 ```mermaid graph TD A[候选模型] --> B[LLaMA 3.1 405B] A --> C[Mistral Large 2] A --> D[DeepSeek-V2] A --> E[Falcon-180B] B -->|优势| F(多语言支持/复杂推理) C -->|优势| G(上下文理解/低延迟) D -->|优势| H(计算效率/中文优化) E -->|优势| I(商业授权/知识密集型) ``` ### 四、技术架构方案 ``` +-------------------+ | 企业业务系统 | | (CRM/ERP/工单) | +---------+---------+ | API +----------------+ +------v------+ | 用户接入层 <-----------+ 对话引擎 | | (APP/Web/微信) | | +--------+ | +----------------+ | |大模型 | | | +--------+ | +------+------+ | +---------v----------+ | 知识库系统 | | (向量数据库+RAG) | +---------+----------+ | +---------v----------+ | 数据分析平台 | | (对话质量监控) | +---------------------+ ``` ### 五、部署方案建议 1. **私有化部署**：推荐使用NVIDIA DGX A100集群，配置$$P_{GPU}=8 \times A100 80G$$ 2. **混合云架构**：核心业务部署在本地，流量峰值时自动扩展至公有云 3. **容器化部署**：采用Kubernetes管理模型服务，实现： - 自动扩缩容：基于$QPS=α \cdot e^{βt}$的动态调度 - 版本灰度发布：AB测试不同模型版本 ### 六、成本估算（年） | 项目 | 费用范围（万元） | 说明 | |----------------|------------------|-------------------------| | 硬件投入 | 150-300 | 含GPU服务器/存储设备 | | 数据准备 | 30-80 | 语料清洗/标注/增强 | | 运维成本 | 50-100 | 电费/人力/云服务 | | 定制开发 | 80-200 | 业务系统对接/微调开发 | ### 七、产品选型建议 1. **复杂业务场景**：优先选择LLaMA 3.1 405B+LangChain架构 2. **高并发场景**：推荐DeepSeek-V2+ vLLM推理加速框架 3. **多语言支持**：采用Falcon-180B+自定义词表扩展 4. **快速上线需求**：使用Mistral Large 2+Azure托管方案 **实施步骤**： 1. 需求分析（2-4周）：梳理$SLA\geq99.9\%$等关键指标 2. 概念验证（1-2月）：完成$Accuracy\geq85\%$的基线模型 3. 系统集成（3-6月）：实现端到端$\Delta latency <300ms$ 4. 持续优化：基于$$BLEU\_score=\frac{1}{N}\sum_{i=1}^N \exp(\frac{1}{n}\sum_{n=1}^4 \ln p_n)$$优化对话质量
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值