LLM-微调-0参数微调:Prompt-tuning(离散型)【用简短的提示/问题/示例(prompt)为模型提供了上下文来指导模型执行特定任务】【本质:使用训练好的LM估计给定条件下的条件概率分布】

Prompt-tuning在大模型语言模型的应用中发挥关键作用,通过精心设计的提示(Prompt)来引导模型生成准确、有价值的输出。Prompt的基本要素包括文本片段、引导模型行为、上下文和约束以及设计和优化。优质Prompt的定义关注表达清晰度、通用性和生成稳定性。优化Prompt的方法包括迭代法、Trick法和工具法,例如戴高帽、增加引导语、Few-shot、增加假设、使用检测和优化工具。了解应用场景并开发优质Prompt,有助于提高模型生成内容的质量和针对性。
摘要由CSDN通过智能技术生成

大模型语言模型在多个领域展现了强大的能力。然而,随着模型的增长和复杂性的提升,如何引导模型生成准确、有价值的输出成为了一个关键问题。

Prompt相当于产品经理的需求文档;大模型的输出相当于研发人员研发出的产品;需求文档越详细,研发出的产品就越符合预期。

在解决这一问题的过程中,Prompt(提示语)的重要性日益凸显。Prompt是一种简短的文本片段,用于引导大模型生成特定类型的输出。它们可以是问题、指令、示例等形式,为模型提供了上下文和方向。通过巧妙设计的Prompt,我们能够引导模型生成更加准确、有针对性的回答和创造性的输出。

一、Prompt基本定义

Prompt简单说就是驱动大模型进行表达文本描述。

更详细地说,Prompt的基本定义包括以下几个要素:

  1. 文本片段:Prompt可以是一个短语、一句话、一个段落,甚至是一个完整的问题。它通常是由人类设计者创建的,用于明确和传达特定的意图或任务要求。
  2. 引导模型行为:Prompt的目的是引导模型执行特定的操作或生成特定类型的输出。这可以包括回答问题、完成任务、写作文章、生成代码等。Prompt需要明确指导模型的期望行为,确保生成的结果符合预期。
  3. 上下文和约束:Prompt可以包含上下文信息,以便模型理解和生成与之相关的内容。上下文可以是先前的对话历
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值