探索大模型能力--prompt工程

程序学到昏

于 2024-05-17 16:41:36 发布

阅读量930

点赞数 28

文章标签： prompt 大模型 LLM embedding 自然语言处理 ai

本文链接：https://blog.csdn.net/Y525698136/article/details/139008476

版权

1 prompt工程是什么

1.1 什么是Prompt？

LLM大语言模型终究也只是一个工具，我们不可能每个人都去训一个大模型，但是我们可以思考如何利用好大模型，让他提升我们的工作效率。就像计算器工具一样，要你算10的10倍，你是按10次“10+”，还是直接“10*10”，如何利用工具决定了你几点下班。。

提示词（prompt）就是你给大模型下达的指令输入，它包含以下任意要素：

指令： 想要模型执行的特定任务或者指令。

上下文：包含外部信息或额外的上下文信息，引导语言模型更好地响应。

输入数据： 用户输入的内容或问题

输出指示： 指定输出的类型或格式。

1.2 什么是prompt工程？

提示工程就是开发和优化提示词（Prompt），一种在大模型中使用的技巧，通过提供清晰、简洁的指令或问题，充分发挥大模型的能力，让模型更好地理解我们的需求，从而得到更好的模型输出。

给大模型提示语的时候，你就是产品经理：

你随便提需求，模型也就随口一答；

你提出详细的需求，给出充分的需求背景，给足输出数据，定义好输出格式，好的模型就像一个好的程序员，会给你一个满意的答复的~

2 prompt工程基本原则

我们再回顾下prompt工程课程中的两大基本原则：

2.1 给出清晰，详细的指令

策略1：使用分割符清晰的知识输出的不同部分，比如"",<>,<\tag>等分隔符

策略2：指定一个结构化的输出，比如json,html等格式

策略3：要求模型自检测是否满足条件

策略4：提供少量示例

2.2 给模型思考的时间

我们不一定要一步得到答案，可以让模型进行一系列的推理，给他推理思考的时间，再最终给出答案。

策略1：指定完成任务需要的步骤

告诉模型完成这个指令，需要执行几步，每步的详细步骤

策略2：明确模型再给出结论之前推理出自己的解决方案

让模型自己推理，写出每一步的步骤，给足够的时间（token-钱）边思考边执行。

3 prompt工程迭代思维

迭代思想无处不在，提示工程和软件工程，算法模型一样都是一个迭代的过程。。

4 prompt工程方法

prompt的原则和方法在吴恩达教授的课程中讲解的很详细，这里我们再介绍一些高阶方法。

4.1 思维链

思维链的概念是在Google的论文Chain-of-Thought Prompting Elicits Reasoning in Large Language Models中被首次提出。思维链是一系列的短句子，模仿了人类在回答问题时的思考和可能的推理过程。

作者在文中也指出作为一种促进语言模型推理的方法，思维链提示具有几个吸引人的特性：

首先，思维链允许模型将多步问题进行拆分，分解为多个中间步骤。

其次，思维链使得模型的回答过程具有较好的可解释性，同时这一特性为定位推理错误，并修改错误提供了可能。

第三，链式思维推理可用于数学单词问题、常识推理和符号操作等任务，并且理论上适用于任何可以通过语言解决的任务。

最后，只要将思维序列链的例子包含到少样本提示的范例中，就可以很容易地在足够大的现成语言模型中引出思维链推理。

下图一次介绍了少样本提示(a),少样本思维链(b),零样本提示©，零样本思维链(d)

4.2 思维树

Tree of Thoughts (ToT)是思维链的进一步拓展，主要想解决 LM 推理过程存在如下两个问题：

不会探索不同的可能选择分支

无法在节点进行前后向的探索

ToT 将问题建模为树状搜索过程，包括四个步骤：问题分解、想法生成，状态评价以及搜索算法的选择。

4.3 用prompt写prompt

以上方法都太麻烦，还有一些懒人方法。利用ChatGPT插件或者自己写一个prompt来帮你写prompt，用魔法打败魔法。

比如https://github.com/minghaochen/universal-prompt/blob/master/universal-prompt.txt 给出一个优化prompt的模版。

代码语言：javascript

message = [
            {"content": """
            I want you to act as an AI prompt engineer. You are expert at writing ChatGPT Prompts to get the best results.

            To create efficient prompts that yield high-quality responses, consider the following principles and strategies: \
            1. Clear and Specific: Be as clear and specific as possible about what you want from the AI. If you want a certain type of response, outline that in your prompt. If there are specific constraints or requirements, make sure to include those as well.
            2. Open-ended vs. Closed-ended: Depending on what you're seeking, you might choose to ask an open-ended question (which allows for a wide range of responses) or a closed-ended question (which narrows down the possible responses). Both have their uses, so choose according to your needs.
            3. Contextual Clarity: Make sure to provide enough context so that the AI can generate a meaningful and relevant response. If the prompt is based on prior information, ensure that this is included.
            4. Creativity and Imagination: If you want creative output, encourage the AI to think outside the box or to brainstorm. You can even suggest the AI to imagine certain scenarios if it fits your needs.

            There is a well-written prompt delimited by <> for your reference: <Your task is to be my brainstorming partner and provide creative ideas and suggestions for a given topic or problem. Your response should include original, unique, and relevant ideas that could help solve the problem or further explore the topic in an interesting way. Please note that your response should also take into account any specific requirements or constraints of the task.>

            Your task is to write an effective ChatGPT Prompt based on given keywords or to modify the given prompts. Answer in the same language as me.
            """,
            "role": "system"}
        ]
message.append(
            {"content": "Please help me to write an effective ChatGPT Prompt based on the following keywords or prompt: {}".format(prompt),
             "role": "user"}
        )

在调用ChatGPT接口时，使用如上message，就可以优化你的prompt.

代码语言：javascript

Before:
translate the following English content into Chinese, 并润色
After:
<Please translate the following English text into Chinese, ensuring not only accuracy in translation but also enhancing the prose to flow naturally and elegantly in Chinese. The translation should read as if originally written by a native speaker, with attention to cultural nuances and idiomatic expressions.>

5 实践

上面说了这么多概念和理论方法，还有没有更好的方法，快速让我知道怎么写好prompt？

有！用别人的经验！

前公司有个同事做过一个分享，大佬说过一句话：要想写好prompt最好的方法就是知道他的训练数据是什么样子的。可惜，很少大模型完全开源他们的数据集。

但是很多大模型都会开放一个平台给大家体验，大家也都会将好的用例分享出来。

比如智普清言，我们看看程序员灵感

这里面就是一些优秀prompt，这些经验我们就可以直接拿来主义。

大致可以总结出模版：先给模型一个角色定位（你是一名***），再给出具体的需求（请写一个***需求的代码）。

上一个示例：

代码语言：javascript

你是一位擅长编写各种程序的资深工程师，我需要你根据以下需求，为我生成一段Python代码：
代码目的：设计一个双十一自动抢购脚本
代码功能：在双十一当天自动登录购物网站，定时抢购预设商品
代码要求：使用面向对象编程方式，使用selenium库进行网页操作

代码语言：javascript

为了实现这个双十一自动抢购脚本，我们可以进行以下步骤：
1. 首先，需要安装selenium库以及对应浏览器的驱动。
2. 其次，需要登录目标购物网站。
3. 然后，需要定位到目标商品的抢购按钮。
4. 最后，在双十一当天设定一个定时器来点击抢购按钮。
以下是一个简单的示例代码：
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
class DoubleElevenShopper:
    def __init__(self, website, username, password, item_link):
        self.website = website
        self.username = username
        self.password = password
        self.item_link = item_link
        self.driver = webdriver.Chrome()  # 使用Chrome浏览器
    def login(self):
        self.driver.get(self.website)
        username_field = self.driver.find_element_by_name("username")  # 这里需要根据目标网站的登录表单进行调整
        password_field = self.driver.find_element_by_name("password")
        username_field.send_keys(self.username)
        password_field.send_keys(self.password)
        password_field.send_keys(Keys.RETURN)
        time.sleep(5)  # 等待登录完成
    def buy_item(self):
        self.driver.get(self.item_link)
        buy_button = self.driver.find_element_by_id("buy_button")  # 这里需要根据目标商品的购买按钮进行调整
        buy_button.click()
    def run(self):
        self.login()
        self.buy_item()
        self.driver.quit()
if __name__ == "__main__":
    shopper = DoubleElevenShopper(
        website="https://www.example.com",
        username="your_username",
        password="your_password",
        item_link="https://www.example.com/item"
    )
    shopper.run()
```
注意：
1. 需要安装Chrome浏览器和ChromeDriver。
2. 登录和购买按钮的元素定位需要根据具体的购物网站进行调整。
3. 此代码为简单示例，实际使用可能需要处理更多的异常情况。
安装selenium库和ChromeDriver：
```
pip install selenium
```
下载ChromeDriver并将其路径添加到环境变量中。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景

学习计划：

阶段1：1-2个月，建立AI大模型的基础知识体系。
阶段2：2-3个月，专注于API应用开发能力的提升。
阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

程序学到昏

关注

28
点赞
踩
18

收藏

觉得还不错? 一键收藏
0
评论
探索大模型能力--prompt工程

LLM大语言模型终究也只是一个工具，我们不可能每个人都去训一个大模型，但是我们可以思考如何利用好大模型，让他提升我们的工作效率。就像计算器工具一样，要你算10的10倍，你是按10次“10+”，还是直接“10*10”，如何利用工具决定了你几点下班。
复制链接

扫一扫