详解AI大模型行业黑话,迅速搞懂提示工程(prompt)、向量工程(embedding)、微调工程(fine-tune)

大家都在讨论大模型,似乎什么都可以与大模型结合,可当初学者也想上手时,却面临一堆令人头大的词汇,什么Prompt、、Embedding、Fine-tuning,看到瞬间头都大了。一堆英文就算了,还不容易查到正确解释,怎么办呢?别担心,本文就用一种有趣的方式让大家认识它们。

首先让我们先了解一下作为人类是如何去使用大模型的。我们可以把大模型当做一个对语言有着出色理解能力的人,我们要做的就是通过文本的输入,让大模型理解我们希望他做什么事情。那么学会向大模型提问,就变成了用好大模型最重要的事情,甚至可以说使用大模型的过程就是向大模型提问的过程。

那么有哪些概念需要我们了解呢?

Prompt:

是输入给大模型的文本,用来提示或引导大模型给出符合预期的输出。在上面这个与星火大模型的对话中,我们向大模型提问的文本就是提示词,而大模型在理解了我们的提示词后就在提示词的下面会给出对应的回答。

Prompt = 提示词 = 人与大模型交互的媒介

打个比方,假如我们是产品经理,大模型是一名研发工程师的话,那么提示词就是需求,产品经理在提需求的时候,需要在需求里面包含背景说明、需求说明、版本要求、方案建议等信息,只有把需求描述得足够清晰,工程师才能够按照需求输出符合要求的代码,提示词就相当于人向大模型提需求时的需求文档.

Token:

我们可以经常在大模型的计费说明中看到Token这个词,Token是大模型处理的最小单元,比如英文单词或者汉字。

Token长度 = 与大模型交互时使用的单词、汉字数

不同的人表达同一件事情时,有的人言简意赅几句话就能把事情说得明明白白,而有的人可能表达能力不好,非常的啰嗦,才能把这件事情说清楚。那么很明显这个啰嗦的人在描述这件事情上消耗的Token就比前面那个人多了很多。

Embedding:

是将段落文本编码成固定维度的向量,便于进行语义相似度的比较。

我们可以理解成把知识数据向量化成一个数据库,是为了方便检索,这让用户在提问的时候,我们就可以根据用户的提问内容,在数据库中提取相关度比较高的材料,一起给到大模型,这样大模型就能用这些专业的知识做出更加具备专业水平的回答了。

打个比方,Emdedding就像是当一个项目启动时,项目经理把待完成需求所依据的额外相关材料先整理好,提取重点后放在附件中给到研发工程师,便于研发工程师高效的输出符合预期的东西。

Fine-Tuning

在已经训练好的模型基础上进一步调整模型的过程吗,是一种使用高质量数据对模型参数进行微调的知识迁移技术,目的是让模型更匹配对特定任务的理解。

 我们可以把大模型类比为公司的研发人员,根据需求生产出对应的产品,而每个研发人员的开发经验都有所不同,输出的代码风格质量也不一样。这就像每个大模型背后使用的训练数据和方法不一样,当面对一样的问题时,做出的回答也会有所差异。那么如何让研发人员输出的代码符合公司的要求呢?答案就是进行培训,由入职导师对研发人员进行代码规范,以及其他需要遵循规则的培训,让他们直接把这些规则记住,这样子他们在做项目开发的时候,就可以直接输出符合规范的产物了。这里的培训类似于大模型的Fine-Tuning,经过Fine-Tuning这个二次训练,大模型更加清楚的知道我们对它输出内容的要求,也就可以输出更加让我们满意的回答了。

把Promp、Token、Emdedding、Fine-Tuning这些大模型词汇串起来,看看用到这些技术的大模型就可以实现下图所示的应用场景。

 在这个例子中,我们要把一个设备使用手册做成支持大模型问答的应用,这样当我们在使用产品过程中有疑问时,就不需要自己去翻厚厚的说明书了,而是可以直接向大模型提问。

那么问题来了

如何让大模型学会这本厚厚的说明书,然后来回答我们的问题呢?

首先我们可以通过Emdedding将这本说明书的文本内容向量化为一个数据库,当用户提问的时候,就可以通过提问的内容在这个数据库中检索出相关的内容,然后跟用户的提问一起组合成完整的Prompt给到我们的语言大模型去处理。根据前面文档的讲解,我们也知道提交给大模型的Prompt内容越多,消耗的token也就越多。而刚才把说明书的内容向量化,并支持相关性线索并提取出来作为problem的过程就是Emdedding。当我们把用户跟这个设备相关的问题提交给大模型时,大模型已经可以给出对应的答案了。

但假如在使用的过程中,我们希望大模型给出的回答可以更加贴合设备问题排查的格式,这时候我们就可以使用微调 的技术,也就是Fine-Tuning通过一些优质的问答数据对大模型进行训练微调,使他的回答更加符合我们的期望。

此外,基于Emdedding加Prompt的方案,一般输入消耗的都可能会很长,导致调用的成本更高,响应时间更长。如果将用户说明书中被提问的高频问题通过Fine-Tuning融入大模型中,可以大幅减少提问需要消耗的Token、加快响应时间,可见这些技术之间都是相互关联相互配合的。

从这个例子中可以看到这几个常接触的词汇是什么含义,通过以上内容能够加深您对大模型的了解呢?我们也基于大模型的使用经验做了一张脑图,可以联系开发小助手获取。

视频详解:

揭秘AI大模型行业黑话,窥探ChatGPT/星火/文心不在话下,迅速搞懂提示工程(prompt)、向量工程(embedding)、微调工程(finetune)

其他学习资源

Chatgpt系列相关分享 | CSDN
支持简介 | 聆思文档中心
更多Chatgpt视频课程

关于聆思

聆思科技是一家专注提供智能终端系统级(SoC)芯片的高科技企业,目前推出的CSK6系AI芯片已适配Zephyr RTOS。

希望了解更多有关CSK6 AI芯片信息的伙伴也可以+V:listenai-csk

欢迎各位同学与我们进行技术相关的探讨,大家一起进步吧!

<think>好的,我现在需要回答用户关于“酒馆AI使用的模型是否需要微调”的问题。首先,我要明确用户所说的“酒馆AI”具体指什么。可能是指某个特定的聊天机器人或对话系统,比如一些基于LLM(大语言模型)的应用,例如Character.AI或者类似的平台。这类平台通常允许用户创建虚拟角色并进行对话,因此可能需要针对不同的角色进行模型调整。 接下来,我需要了解一般AI模型的开发流程。通常,像GPT这样的预训练模型已经在大规模数据上进行了训练,具备广泛的语言理解和生成能力。但在特定应用场景下,直接使用基础模型可能无法满足需求,比如风格、语气、特定领域的知识等。这时候就需要微调fine-tuning)或者使用其他技术,如提示工程prompt engineering)、RAG(检索增强生成)等。 然后,我要考虑“酒馆AI”这类应用的特点。这类应用可能需要模型适应不同角色的性格、对话风格、背景故事等。例如,一个中世纪酒馆老板的角色和未来科幻风格的酒保,对话方式和内容会有很大差异。直接使用基础模型可能无法保持一致性,因此微调可能是必要的。不过,微调需要大量的标注数据和计算资源,对于初创公司或个人开发者来说成本较高,所以也可能采用其他方法。 另外,最近流行的技术如LoRA(低秩适应)可以在不调整全部参数的情况下进行微调,节省资源。这种方法可能被类似酒馆AI的应用采用,以便快速适配多个角色而不需要为每个角色单独训练整个模型。 还要考虑用户可能的实际需求。用户可能想知道是否需要自己进行微调,或者酒馆AI已经内置了微调后的模型。如果是后者,开发者可能已经对基础模型进行了微调,以更好地适应角色扮演的场景。而如果是用户自己搭建类似的系统,是否需要微调则取决于具体需求。如果基础模型(如GPT-3.5/4、LLaMA等)在未调整的情况下表现良好,可能只需提示工程即可;若需要更定制化的输出,微调会更有效。 需要验证的信息包括:是否有公开资料说明酒馆AI的技术细节,微调在实际应用中的案例,以及替代方案的效果比较。比如,Hugging Face的模型库中许多角色扮演模型都是基于微调的,而像Character.AI可能结合了多种技术。 最后,总结思考:酒馆AI可能使用了微调技术,尤其是针对角色特性和对话风格进行调整,但具体实现可能因项目而异。同时,结合提示工程、RAG等方法也能达到类似效果,减少对微调的依赖。需要根据实际应用场景和资源情况选择合适的方法。</think>关于“酒馆AI”是否需要微调模型,需要结合具体场景分析: __基础模型特性__ - 通用大模型(如GPT-4、Claude等)已具备较强的泛化能力,可通过__提示工程__直接生成符合酒馆场景的对话(例如角色扮演、中世纪风格用语) - 但若需要深度定制以下特性,则需微调👇 __建议微调的场景__ 1. **特殊对话风格固化** - 例如必须使用古英语措辞:$$ P(w_t|w_{<t}) = \text{需符合莎士比亚时期语法} $$ - 需要让模型稳定输出特定方言或黑话 2. **知识库深度融合** - 将《龙地下城》规则书、酒馆经营数据等专有知识注入模型参数 - 比RAG检索更快速,适合高频使用的核心知识 3. **角色一致性保持** - 确保AI酒保长期维持固定人设(如「暴躁矮人铁匠」) - 基础模型容易受用户引导偏离设定 __替代方案对比__ | 方法 | 训练成本 | 可控性 | 实时性 | |------|----------|--------|--------| | 微调 | 高 | ★★★★☆ | 延迟低 | | Prompt工程 | 零 | ★★☆☆☆ | 实时 | | RAG | 中 | ★★★☆☆ | 依赖检索速度 | __实践建议__ 1. **轻量化微调优先** - 使用LoRA技术,仅需调整0.1%的参数即可适配角色特征 - 示例代码框架: ```python from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, target_modules=["q_proj", "v_proj"], task_type="CAUSAL_LM" ) tuned_model = get_peft_model(base_model, lora_config) ``` 2. **混合部署策略** - 核心角色(常驻NPC)使用微调模型 - 临时角色通过prompt控制,降低成本 当前主流酒馆类AI(如TavernAI)通常采用基础模型+定制化prompt模板的方案,但对商业化产品建议至少对高频交互角色进行参数微调,以提升用户体验一致性。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值