大模型 is all you need？

大模型.

于 2025-02-01 09:45:00 发布

阅读量1k

点赞数 7

文章标签：语言模型深度学习人工智能自然语言处理架构大模型

本文链接：https://blog.csdn.net/EnjoyEDU/article/details/145279880

版权

一、从语义向量和业务场景了解模型能力和应用侧重点

本节从语义向量空间的角度，解释了大模型完成各类语言任务的原理和难度层级，并尝试将模型的应用分为不同业务场景，并介绍各自侧重点。

目标是回答两个问题：

1、模型具备哪些能力，可以帮助我们完成什么任务？

2、如果应用的话，难度如何以及优化侧重点在哪？

注：本文中的“大模型”并不仅指llm（large language model, 即大规模预训练语言模型），更接近foundation model（即基座模型）的概念，既包含纯文本的llm，也包括多模态的mllm（Multimodal Large Language Model）。

1.1、基于语义向量变换角度理解大模型完成任务的能力

语义向量（word vector）是一种用数学方式表示词语、短语或文本语义含义的技术 [1]。它可以将语言中的语义信息编码为固定维度的数值向量，便于计算机处理和分析。有如下性质：

语义相近的词语，其向量在空间中距离较近。通过余弦相似度等方法可计算向量间的语义相似度。
语义向量支持加减乘除等数学运算。例如"king - man + woman ≈ queen"这样的类比推理。

大模型虽然是“文科生”，但底层原理还是数学。通过语义向量的角度，可以对大模型的语言能力有更本质的理解：

语义向量的映射：语义/内容理解（上下文和世界知识）、情感分析
语义向量的距离计算：近义词判断、分类聚类
语义向量的截取：信息抽取、实体识别
语义向量的转换：文生图/视频（跨模态）、翻译（跨语种）、古文&诗词翻译（跨文体）、风格改写（跨文风）
语义向量的缩放：文本扩展、概括
语义向量的延伸递进：问答（明确方向的延伸）、评价/对话（模糊方向的延伸）、推理（模糊方向的节点递进/路径搜索）

从向量操作的角度理解大模型完成任务的难度：

向量映射 < 距离计算 < 向量截取 < 向量转换 < 向量缩放 < 延伸递进

这是从向量空间角度的粗粒度划分难度，但实际还是有些特例，比如：

向量缩放的文本扩展，如果需要输出有创意的长文本，比如小说，也会因输出过长，而导致上下文遗忘和错误累加，影响文本连贯性，难度非常高。但概括只需要理解大意并总结输出，相对容易。
向量转换中的跨模态，由于需要不同模型的表征空间对齐，对数据和模型能力要求都很高，对目前的模型来说难度同样很大。
向量延伸递进中的问答，如果是简单的知识检索回答（不需要多步推理），对大模型的难度很小，因为很符合训练数据和目标。

大模型的元能力：

世界知识：世界知识是语义理解的基础，知道不同的文本应该映射到对应的向量，意味着模型从训练语料中学到了知识，而内化在隐藏层的神经元连接和权重。
上下文/小样本学习（in-context-learnning）[2]：能够从指令提供的小样本中学习到专项任务下的注意力权重，效果类似于隐式微调。简单理解：给模型打了个样，于是模型学会了照葫芦画瓢。
指令遵循（Instruction following） [3]：语义理解+语义向量操作能力应用。模型能够根据输入的要求，应用相应的能力，并按要求输出。简单理解：模型能够按照要求的方式和标准完成任务，给模型一个sop，它就能按sop完成任务。
工具使用[4]（function calling）：指令遵循的特殊形式，可以在调用工具的节点获得额外信息输入。模型可以自主拼接参数调用api，并解析返回结果。目前已有视觉感知和交互的能力如computer_use[5]，模拟用户的操作，来减少对api的入侵改造和api调用的知识库构造成本。

1.2、从业务场景理解大模型应用的侧重点

横轴更偏“编码器”部分，更多需要模型的知识和理解能力。纵轴更偏“解码器”部分，更侧重模型的生成和推理能力。

任务vs信息：大模型的结果会应用在后续工作流中，算做任务（需要人工校验或确认是copilot，不需要人工是agent或工作流编排），如果不用在后续节点就算信息。

通用vs垂直：满足的需求聚焦在具体行业或领域就算垂直，不限制即为通用。

不同场景的优化侧重点：

越通用宽泛，用户的需求就会偏向长尾，对意图理解的要求就越高，因此对基座模型的世界知识和语义理解能力提出更高要求。
越垂直冷门，行业知识和预训练的通用知识越不相关，更需要补齐行业知识。通过cpt注入行业知识，或者通过rag挂载外部知识库。
越偏向任务，对模型的推理和指令遵循能力要求越高，并且更依赖业务经验。需要通过工作流拆解、示例、微调等方式注入业务经验。
越偏向信息，越依赖模型的语义理解、总结能力。同时需要搜索和rag来增强信息的时效性和准确性，rag本身的向量化检索也是关键。

还有两个维度比较重要：

一个维度是面向c端 or b端/内部：c端一般准确率的要求更高，并且潜在风险更高，需要更强的安全保障和兜底策略，b端（助手类）和内部应用要求不那么高

另一个维度是文本 or 多模态：文本比较简单，多模态尤其是生成任务，在不同模态的语义对齐方面难度较高，一般需要算法投入优化。

从上述模型能力和场景侧重点的介绍，应该能够回答通过模型可以完成哪些任务，以及如何预判应用难度和侧重点的问题。

二、从实践案例介绍大模型应用经验和思考

讲完模型能够评估思路之后，趁热打铁结合案例讲解下实际业务中应该怎么用和落地，以及找到模型在业务切入点的思路。

本节目标也是回答两个问题：

1、实际业务中应该怎么落地，思路和流程是什么？

2、如果想在业务中应用大模型，怎么找到切入点？

2.1、结合案例讲解大模型的落地流程和经验

案例1：客服机器人

目标：提高问题工单解决率和时效，提高用户体验。并且减少客服人工介入率，降低用工成本。

应用类型：垂直+任务

模型能力：语义理解+文本分类+指令遵循+问答总结能力

应用难度：中等

侧重点：用户问题意图分类的业务经验（具体类型和表述特征）+敏感话题识别经验+人工介入的判断标准

1.1、项目成果

业务效果：意图分类准确率从xx%提升至xx%，转人工率从xx%降至xx%，对话轮次从x次降至x次，问题解决率从xx%提升至xx%。

1.2、需求拆解

工作流拆解

1.3、落地流程

1.3.1、阶段介绍

1、离线用户问题分析

根据不同来源页面，关键词和历史意图分类抽取用户问题，人工分析归纳意图类型，并总结各类型对应的表述特点。

2、抽取样本打标

通过不同维度和类型抽取用户问题，保证 benchmark 的多样性。

3、意图分类prompt调优

###角色定义
你是一位经验丰富的电商智能客服专家"AI助手"。你性格亲和，处事专业，擅长准确理解和分类客户问题。

###核心任务
1.准确理解并分类用户问题意图
2.提供标准化且温暖的回复
3.识别需要转人工的场景
4.妥善处理无效问题

###意图分类指南
##分类流程
1.首先理解用户完整问题
2.识别关键词和情感倾向
3.对照分类标准进行匹配
4.评估是否需要转人工
5.选择合适的回复模板
6.检查以上结果是否准确并评估置信度
7.如果置信度不高，请优先和用户确认信息，或要求用户补充相关信息提高置信度 

##详细分类标准
=== 一级分类 ===
1.订单类（ORDER）
2.物流类（LOGISTICS）
3.退换货类（REFUND）
4.商品类（PRODUCT）
5.账户类（ACCOUNT）
6.转人工（HUMAN）
7.无效问题（INVALID）

=== 二级分类及表述特点 ===
1. 订单类(ORDER)
1.1 订单查询
•  关键词：订单、查询、查看、找、状态
•  句式模板：
o  "{时间词}的订单在哪里查"
o  "订单显示{状态词}"
o  "订单号{数字}怎么查不到"
•  特征词组：订单状态、订单号、购买记录、成交订单
1.2 订单修改
•  关键词：修改、更改、变更、改
•  句式模板：
o  "能不能修改{修改项}"
o  "想改一下{修改项}"
o  "{修改项}填错了"`
特征词组：收货地址、联系方式、收货人、订单备注
1.3 支付问题
•  关键词：支付、付款、扣款、到账
•  句式模板：``o  "{支付方式}支付失败"
o  "付款显示{异常状态}"
o  "钱扣了但订单{异常状态}"
•  特征词组：支付失败、交易错误、支付异常、订单未付款
2. 物流类(LOGISTICS)
2.1 物流状态
•  关键词：快递、物流、发货、到哪
•  句式模板：
o  "快递到哪了"
o  "怎么查物流"
o  "{时间词}发货了吗"
•  特征词组：物流信息、快递单号、运输状态、物流进度
2.2 配送时间
•  关键词：送达、到货、配送、送货
•  句式模板：
o  "{时间词}能到吗"
o  "要多久能收到"
o  "大概什么时候送到"
•  特征词组：预计送达、配送时间、送货上门、预约配送
2.3 配送异常
•  关键词：派送、签收、投递、异常
•  句式模板：
o  "显示派送失败"
o  "快递{异常状态}"
o  "签收了但没收到"
•  特征词组：无法派送、签收异常、投递失败、送错地址
  ###示例对话
  用户：我的订单怎么还没发货？
  响应：
  {
  "intent": {
  "primary_category": "ORDER",
  "sub_category": "order_status",
  "confidence": "high"
  },
  "user_emotion": "neutral",
  "require_human": false,
  "response": {
  "template_id": "ORDER_STATUS_01",
  "reply_text": "您好，我是AI客服助手。我理解您关心订单状态，请您提供订单号，我来帮您查询具体发货情况。"
  }
  }

prompt技巧解读

1、角色&性格设定：

2、内容分段

3、符号分隔

4、思维链

5、反思

6、重复

7、输出格式

8、约束

9、任务示例

1.4、项目展望

1、客服agent升级为任务agent：目前智能解答用户的疑问，后续希望升级为可以直接帮用户解决问题完成任务的agent。

2、建立数据飞轮：根据线上转人工的问题，提取人工回复和模型回复建立badcase库，通过prompt调优、微调、知识库等方式并不断优化。

2.2、大模型在业务中切入点的思考

最后还想简单聊聊怎么在业务中寻找和大模型的结合点，主要是个人的一点感想和思考：

2.2.1、钉锤问题，到底用谁找谁 - 均可

以钉找锤：基于当前业务中现有的痛点和问题，尝试用大模型的优势实现和替代，是现有功能、流程的优化。

思路：

1、拆解日常工作流，识别人力耗费多的重复性工作环节。

2、从业务现状出发，列举业务中当前技术做不好的功能和环节。

3、从业务需求出发，抽象出对能力的要求，评估是否可用大模型实现。

举锤寻钉：基于模型能力，思考和业务的结合点，往往是创新的场景和功能。

案例：

1、从世界知识和推理能力思考，可以对推荐系统做数据增强，比如特征方面，可以基于用户行为和物品特点用“常识”推理出偏好，而不仅是从类目频次统计和item的embedding聚合来刻画用户偏好。还有在样本纠偏和补充方面也可以做很多工作，都会有额外的信息价值。

2、从多模态生成能力思考，可以智能生成商品图片和视频等，帮助用户有更全面的感知，降低决策成本。

3、从对话问答能力思考，可以给用户答疑解惑，比如智能客服机器人。

2.2.2、怎么在业务中用好大模型

大模型感觉用不好，主要是在于没有很好地结合大模型能力，在工作流中找到合适的切入点。工作流中不同环节依赖能力不同，所有环节都给大模型做是不切实际的，但大概率有模型能力可以覆盖的环节，这就是切入点。

所以在应用时，业务层面需要抽象，拆清楚工作流，每个环节需要什么能力。模型知识层面，需要了解模型具备哪些能力，以及通过哪些方式优化。最终结合业务和模型，找到适合切入点。

还有一点感想，在设计大模型的工作流时，大模型很多时候是替代“人”的角色，而不是代码的角色。基于代码思维的一些设计，很多时候是“委曲求全”，并没有真正拟合人的能力和流程。从人是怎么完成任务的角度来设计流程和方案，或许更适合大模型。最著名的就是马斯克说：“人开车是不需要激光雷达的”，从而推出了全视觉方案的自动驾驶。

小结：本节通过智能客服的案例，回答了在业务中怎么用大模型能力和落地流程的问题。最后针对钉锤问题的探讨，回答了在业务中找大模型切入点的问题。

三、详解大模型原理、prompt技巧和调优方法

本节是偏技术的内容，以流程图的方式讲解大模型的原理，不涉及公式推导，尽量简洁易懂。并列举了prompt技巧，以及调优的方法。

目标回答两个问题：

1、prompt技巧有哪些，为什么这些prompt能产生效果？

2、prompt应该怎么优化，流程和思路是怎样的？

3.1、从大模型原理角度介绍prompt技巧

prompt工程[6]：本质是通过调节输入文本序列，帮助模型在预训练学到的巨大概率分布空间中，寻找最优的输出路径。

直观化理解：prompt优化就像在语义空间中引导token贪吃蛇，朝着期望方向吃下一个个token，最终输出符合任务要求的token序列。

1、视野聚焦（交代背景，删减无关内容）；2、提示注意关键点（强调）；3、引导模型方向（cot、示例）；4、约束模型方向（约束）；

模型和任务是两端，语言（prompt）是链接模型和任务的纽带。

从任务角度，是背景和要求表述清楚，让模型的输出和人对齐标准。
从语言角度，是表达精炼，避免歧义和上下文矛盾。
从模型角度，是扬长避短，增强模型的能力，规避模型的幻觉问题[7]。

为了更好地理解prompt技巧，这里将大模型的工作原理和prompt技巧关联起来，希望能知其然的同时，也知其所以然。也尝试提供一种框架，希望能在理解生效原理的基础上，可以不断创新扩展prompt技巧。

注：

1、从模型生效环节来列举prompt技巧的框架，仍有局限性，比如无法覆盖拟人的prompt技巧，如“深呼吸”、“赞美”、“PUA”等；

2、表中prompt技巧和大模型的环节对应关系并非实验论证，而更多是经验和直觉的关联。很多prompt技巧是横跨多个环节生效的，比如“示例”是既在前馈层激活任务相关知识，又在注意力层让模型关注例子中的模式。这里为了简化理解，将技巧仅关联到其中一个环节上（高清大图见文末）；

3.2、详解prompt调优流程和方法

写prompt有两大流派：“随心所欲”派和“循规蹈矩”派。前者特点是按自己的理解写prompt，不局限于模板和固定范式，后者是按照模板一步步写prompt，尽量全面但不缺失。

我觉得比较好的方式是有一定套路，但不照搬模板的“按图索骥派”。

大模型目前很像“内力深厚”（理解世界知识）且懂得各类“武林秘籍”（知道各种prompt技巧），但不懂得实战的潜在高手，prompt调优就像在逐步教会ta“实战”，所以下面用偏武侠的风格介绍：

起势（撰写初版prompt）：

知己知彼：充分理解任务的关键点，以及用到模型哪些能力，从而确定prompt重点。比如重点是业务经验 + 推理能力，就需要先梳理业务经验和流程，并通过cot和示例增强推理能力。

关于总结业务经验和流程有个较为熟知的方法：假设有一名实习生，没有业务背景，你需要提供哪些信息，帮助ta完成任务。

还有一个方法是，你假装自己是大模型，按任务要求输出一次结果，然后从每个环节反推需要哪些信息。既可以评估难度，也可以对落地的侧重点有个预判。

对决（ prompt调优）：

1、排兵布阵：在构建benchmark时，需要尽可能保证多样性，能够充分覆盖业务实际的各种场景。避免评测集多样性差，导致未覆盖场景的准确率不足。

2、投石问路：运行初版prompt验证模型能力是否满足任务要求。标志：模型是否能够正确理解要求，模型的推理方向是否准确。

3、洞若观火：查看大模型不符合指令或者幻觉的结果，人工分析原因。比如背景信息不全，模型理解偏差，格式不符合约束，数值对比幻觉等等。

4、步步紧逼：人工不易看出问题时，可以让大模型先不要给出结果，只产出分析过程，便于看出模型的理解哪里有偏差。

5、攻守易位：让大模型按自己的理解来复述要求，并构造例子展示prompt结果，使问题点充分暴露

6、借力打力：将prompt和模型错误结果都输入给大模型，让大模型分析出错原因，并给出优化建议。如果业务中只能用开源模型或小模型，还可以让大模型纠错和优化prompt，然后再用到小模型上。

7、见招拆招：找到问题点后，结合列举的prompt技巧进行优化。比如补充业务经验引导，通过示例对齐标准和强化推理，多次强调加强约束，补充小数提示解决数值对比出错等

8、步步为营：prompt任何变动都尽量测试准确率，包括但不限于：只改语序未改语义，改变输出格式，调整示例及顺序，更换基座模型等

9、以退为进：如果prompt中的某些步骤，通过大模型很难解决，思考是否可以通过代码或者工具来解决，而不是和大模型死磕。比如数学运算通过使用计算器解决。

10、严防死守：大模型是基于概率而不像代码是基于逻辑的，因此不可避免会出错，需要有检查修正节点，尤其模型输出直接暴露给C端的场景。以及如果用户可通过自定义的prompt直接和大模型交互，需要考虑提示注入防护，避免用户诱骗大模型输出不当言论和内容。

11、审时度势：如果发现模型较难对齐标准，可以考虑将一部分业务经验转化为强规则让大模型执行，不追求完美主义。如果基本用尽以上优化方法和提示词技巧，模型表现还是不足，可以考虑放弃，等待基座模型能力提升。

科技狠活：输出每个token的依据即激活的神经元[10]，辅助判断问题出在哪里。比如“9.11和9.9比大小”的典型幻觉问题中，可以发现大模型错误激活了恐怖袭击相关的神经元。

工具链接：https://monitor.transluce.org/dashboard/chat

小技巧：

基于cot和大模型生成示例：当思维链较长，导致不易构造示例时，可以先写好cot，在真实case上跑一下，挑选符合要求的大模型输出结果当作示例。

四、总结&建议

4.1、总结回顾

本文从大模型能力和应用场景开始，从向量空间角度介绍了大模型处理不同任务的能力和难度。也将模型的应用场景划分为了四个象限（通用/垂直和信息/任务），每个象限分别介绍了优化的侧重点。主要是提供一种评估思路，支持模型在业务应用的前期评估。

第二部分结合案例介绍落地经验，包括前期评估、工作流拆解、落地流程和优化经验，也探讨了在现有业务中找到大模型结合点的问题，并基于实践经验提出一些思考和观点，希望能为大家提供借鉴和参考的价值。

第三部分是相对技术向的内容，主要介绍prompt技巧和优化思路，首先结合模型工作原理和prompt技巧进行了整体讲解，希望能知其然也知其所以然，可以在这个框架下尝试新的prompt技巧，也介绍了在已知技巧的基础上，在业务落地时调优prompt的流程和方法。希望为大家提供一个地图，帮大家遇到问题时“按图索骥”。

4.2、忠告及建议

1、大模型发展日新月异，能力在不断提升。意味着需要与时俱进，持续更新提示词。例如，在OpenAI的o1模型中，思维链技巧的效果不佳，角色扮演技巧的有效性目前也存在争议。

2、不要对大模型的使用发怵，其实并不复杂，大模型本质是基于自然语言处理的，是人机交互中很自然的方式。最简单的方法就是直接在对话框中写下你的需求，剩下的交给大模型。关键在于多加尝试，观察结果并分析问题，实践中学习能够达到最佳效果。大模型的优势在于它能够支持实践-学习-优化的循环。当遇到问题时，可以询问模型原因和解决方案，理解后再改进提示，整个过程甚至无需离开对话框。

3、要在业务中应用大模型，业务经验以及prompt技巧和模型理解都很重要，业务和算法都需要补齐各自短板，打好配合。业务知识和经验是隐式的，往往需要case by case的学习和理解，慢慢浸泡才能有所理解和积累。但是技术知识和原理是显式的，可以通过阅读文章快速入门，再辅以实践来巩固。ps：不要排斥论文，有大模型不管是翻译还是总结，都大大简化了阅读论文的难度，是既能开阔全局视野，又能跟上前沿创新的很好信息源。

误区：

1、对大模型的一种误区是过于轻视，简单尝试几次就放弃，认为大模型能力达不到业务要求，实际很可能是因为没有写好prompt而没用好大模型。

2、对大模型的另一种误区将其神化，对其抱有不合理的期待。大模型也有其固有的劣势，比如基于概率带来的精确性问题，计算延迟和高昂成本等，并不是所有的应用都值得用大模型重做一遍，哪怕是传统的模型也有自己的优势，关键是找到大模型适合发挥的场景，而不是挥着大模型的锤子，硬砸所有钉子。

五、未来展望

5.1、大模型长期趋势

智能度持续提升，完成任务和多模态的能力增强
推理成本下降，轻量级模型性能提升

基座模型能力增强，潜在应用场景增加，应用层价值增厚（互联网是倒三角的收入结构，但生成式AI是金字塔结构）

5.2、价值链重塑

入口迁移：互联网平台主要价值在于“数字化供给”和“链接用户”，大模型在这两方面都能发挥作用，从而增加平台价值。但大模型独有的语义理解+工具使用能力，可能改变用户和平台互动方式。用户开始能够对终端设备发出指令，终端来和平台交互完成任务。这会导致用户和平台的交互次数减少，流量也从泛需求为主变得更为聚焦，影响到平台的流量池和分布，进而对广告为主的商业模式造成影响。
潜在机会：大模型可以加强用户被动的链接模式，当前主流的链接模式都是用户主动触发的，但某些场景更适合用户被动的链接。特点是用户需求相对固定，但空闲时间不固定，和供给高时效的场景，此时大模型可以作为代理的角色，决策是否主动推送给用户决策，现有典型场景是rss订阅、特价机票订阅、活动推送等。

5.3、商业化挑战

高算力成本挑战传统商业模式：短期内大模型单次请求的算力成本仍较高，目前是互联网搜索的单次请求成本的10倍以上（来源于谷歌ceo的采访）。而边际成本的剧增，既可能颠覆免费+广告模式的底层逻辑，也对网络效应形成挑战（新增用户的边际成本递减，但网络价值平方级提升）。

盈利模式设计变得更为关键：同样基于算力成本的增加，先烧钱再探索盈利模型的难度激增，早期的盈利模式设计更为重要。

5.4、潜在应用方向

C端应用：预计更多现有产品会推出大模型相关的高级付费功能
B端市场：B端降本增效可能是更高价值场景，如编程助手cursor、设计工具Adobe Firefly，以及部分重复工作的自动化
智能硬件：多模态与轻量化趋势带来硬件层机会（如智能眼镜、耳机等）

附件：

图1:

图2:

图3:

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】