【书生·浦语实战营】基础岛第3关：LangGPT结构化提示词编写实践

最新推荐文章于 2024-09-13 17:30:19 发布

qq_43959624

最新推荐文章于 2024-09-13 17:30:19 发布

阅读量680

点赞数 11

文章标签： java 前端 javascript

本文链接：https://blog.csdn.net/qq_43959624/article/details/140833783

版权

文章目录

任务目标
学习内容

任务目标

背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。
任务要求：利用LangGPT优化提示词，使LLM输出正确结果。完成一次并提交截图即可

学习内容

环境配置
首先打开Terminal，运行如下脚本创建虚拟环境：

# 创建虚拟环境
conda create -n langgpt python=3.10 -y

在这里插入图片描述

激活虚拟环境：

conda activate langgpt

在这里插入图片描述
安装必要的Python包，依次运行下面的命令：

# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

在这里插入图片描述

创建项目路径

## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt

在这里插入图片描述

安装必要软件

apt-get install tmux

模型部署
这部分基于LMDeploy将开源的InternLM2-chat-1_8b模型部署为OpenAI格式的通用接口。
开发机中模型路径为/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b
由于服务需要持续运行，需要将进程维持在后台，所以这里使用tmux软件创建新的命令窗口。运行如下命令创建窗口：
tmux new -t langgpt

创建完成后，以后运行下面的命令进入新的命令窗口(首次创建自动进入，之后需要连接)：
tmux a -t langgpt
进入命令窗口后，需要在新窗口中再次激活环境：
conda activate langgpt

然后，使用LMDeploy进行部署，参考如下命令：
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

在这里插入图片描述
Ctrl+B "新创建一个会话利用以下脚本测试模型是否部署成功：

from openai import OpenAI

client = OpenAI(
    api_key = "internlm2",
    base_url = "http://0.0.0.0:23333/v1"
)

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[
        {"role": "system", "content": "请介绍一下你自己"}
    ]
)

print(response.choices[0].message.content)

在这里插入图片描述

可以看到已经成功部署

图形化界面调用
InternLM部署完成后，可利用提供的chat_ui.py创建图形化界面，在实战营项目的tools项目中。
首先，从Github获取项目，运行如下命令：
git clone https://github.com/InternLM/Tutorial.git
(这个在上一关已经clone到/root/demo/路径下)
下载完成后，运行如下命令进入项目所在的路径：
cd /root/demo/Tutorial/tools

进入正确路径后，运行如下脚本运行项目：
python -m streamlit run chat_ui.py

在本地终端中输入端口映射命令，可以参考如下命令：
ssh -p {ssh端口，从InternStudio获取} root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:8501 -o StrictHostKeyChecking=no
上面这一步是将开发机上的8501(web界面占用的端口)映射到本地机器的端口，之后可以访问http://localhost:7860/打开界面。
此处不进行映射直接使用原始端口http://localhost:8501/打开界面：

左侧边栏为对话的部分设置，其中最大token长度设置为0时表示不限制生成的最大token长度。API Key和Base URL是部署InternLM时的设置，必须填写。在保存设置之后，可以启动对话界面：

Prompt

Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。

Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。

Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。例如，我们可以使用“请用幽默的语气描述人工智能的发展历程”作为Prompt，让模型生成一篇幽默风趣的文章。

总之，Prompt是一种灵活、多样化的输入方式，可以用于指导大语言模型生成各种类型的内容。
在这里插入图片描述

提示工程

提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。

在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为next token prediction。

提示工程是模型性能优化的基石，有以下六大基本原则：

指令要清晰
提供参考内容
复杂的任务拆分成子任务
给 LLM“思考”时间(给出过程)
使用外部工具
系统性测试变化

提示设计框架

CRISPE，参考：https://github.com/mattnigh/ChatGPT3-Free-Prompt-List

Capacity and Role (能力与角色)：希望 ChatGPT 扮演怎样的角色。
Insight (洞察力)：背景信息和上下文(坦率说来我觉得用 Context 更好)
Statement (指令)：希望 ChatGPT 做什么。
Personality (个性)：希望 ChatGPT 以什么风格或方式回答你。
Experiment (尝试)：要求 ChatGPT 提供多个答案。
写出的提示如下：

Act as an expert on software development on the topic of machine learning frameworks, and an expert blog writer. The audience for this blog is technical professionals who are interested in learning about the latest advancements in machine learning. Provide a comprehensive overview of the most popular machine learning frameworks, including their strengths and weaknesses. Include real-life examples and case studies to illustrate how these frameworks have been successfully used in various industries. When responding, use a mix of the writing styles of Andrej Karpathy, Francois Chollet, Jeremy Howard, and Yann LeCun.

CO-STAR，参考：https://aiadvisoryboards.wordpress.com/2024/01/30/co-star-framework/

Context (背景): 提供任务背景信息
Objective (目标): 定义需要LLM执行的任务
Style (风格): 指定希望LLM具备的写作风格
Tone (语气): 设定LLM回复的情感基调
Audience (观众): 表明回复的对象
Response (回复): 提供回复格式
完成的提示如下：

# CONTEXT # 
I am a personal productivity developer. In the realm of personal development and productivity, there is a growing demand for systems that not only help individuals set goals but also convert those goals into actionable steps. Many struggle with the transition from aspirations to concrete actions, highlighting the need for an effective goal-to-system conversion process.

#########

# OBJECTIVE #
Your task is to guide me in creating a comprehensive system converter. This involves breaking down the process into distinct steps, including identifying the goal, employing the 5 Whys technique, learning core actions, setting intentions, and conducting periodic reviews. The aim is to provide a step-by-step guide for seamlessly transforming goals into actionable plans.

#########

# STYLE #
Write in an informative and instructional style, resembling a guide on personal development. Ensure clarity and coherence in the presentation of each step, catering to an audience keen on enhancing their productivity and goal attainment skills.

#########

# Tone #
Maintain a positive and motivational tone throughout, fostering a sense of empowerment and encouragement. It should feel like a friendly guide offering valuable insights.

# AUDIENCE #
The target audience is individuals interested in personal development and productivity enhancement. Assume a readership that seeks practical advice and actionable steps to turn their goals into tangible outcomes.

#########

# RESPONSE FORMAT #
Provide a structured list of steps for the goal-to-system conversion process. Each step should be clearly defined, and the overall format should be easy to follow for quick implementation. 

#############

# START ANALYSIS #
If you understand, ask me for my goals.

LangGPT结构化提示词
LangGPT 是 Language For GPT-like LLMs 的简称，中文名为结构化提示词。LangGPT 是一个帮助你编写高质量提示词的工具，理论基础是我们提出的一套模块化、标准化的提示词编写方法论——结构化提示词。我们希望揭开提示工程的神秘面纱，为大众提供一套可操作、可复现的提示词方法论、工具和交流社群。我们的愿景是让人人都能写出高质量提示词。LangGPT社区文档：https://langgpt.ai
– LangGPT结构
LangGPT框架参考了面向对象程序设计的思想，设计为基于角色的双层结构，一个完整的提示词包含模块-内部元素两级，模块表示要求或提示LLM的方面，例如：背景信息、建议、约束等。内部元素为模块的组成部分，是归属某一方面的具体要求或辅助信息，分为赋值型和方法型。

– 编写技巧

构建全局思维链

对大模型的 Prompt 应用CoT 思维链方法的有效性是被研究和实践广泛证明了的。首先可以根据场景选择基本的模块。
在这里插入图片描述
一个好的结构化 Prompt 模板，某种意义上是构建了一个好的全局思维链。如 LangGPT 中展示的模板设计时就考虑了如下思维链:
Role (角色) -> Profile（角色简介）—> Profile 下的 skill (角色技能) -> Rules (角色要遵守的规则) -> Workflow (满足上述条件的角色的工作流程) -> Initialization (进行正式开始工作的初始化准备) -> 开始实际使用
一个好的 Prompt ，内容结构上最好也是逻辑清晰连贯的。结构化 prompt 方法将久经考验的逻辑思维链路融入了结构中，大大降低了思维链路的构建难度。
构建 Prompt 时，不妨参考优质模板的全局思维链路，熟练掌握后，完全可以对其进行增删改留调整得到一个适合自己使用的模板。例如当你需要控制输出格式，尤其是需要格式化输出时，完全可以增加 Ouput 或者 OutputFormat 这样的模块。

保持上下文语义一致性

包含两个方面，一个是格式语义一致性，一个是内容语义一致性。

格式语义一致性是指标识符的标识功能前后一致。最好不要混用，比如 # 既用于标识标题，又用于标识变量这种行为就造成了前后不一致，这会对模型识别 Prompt 的层级结构造成干扰。

内容语义一致性是指思维链路上的属性词语义合适。例如 LangGPT 中的 Profile 属性词，使之功能更加明确：即角色的简历。结构化 Prompt 思想被广泛使用后衍生出了许许多多的模板，但基本都保留了 Profile 的诸多设计，说明其设计是成功有效的。

内容语义一致性还包括属性词和相应模块内容的语义一致。例如 Rules 部分是角色需要遵守规则，则不宜将角色技能、描述大量堆砌在此。

有机结合其他 Prompt 技巧

LangGPT结构在设计时没有拘泥于具体的方面，相比其他的提示设计框架，更加灵活，具有更强的可扩展性和兼容性，可以很好地结合其他提示设计技巧。

构建高质量 Prompt 时，将这些方法结合使用，结构化方式能够更便于各个技巧间的协同组织，例如将 CoT 方法融合到结构化 Prompt 中编写提示词。汇总现有的一些方法：

细节法：给出更清晰的指令，包含更多具体的细节
分解法：将复杂的任务分解为更简单的子任务（Let’s think step by step, CoT，LangChain等思想）
记忆法：构建指令使模型时刻记住任务，确保不偏离任务解决路径（system 级 prompt）
解释法：让模型在回答之前进行解释，说明理由（CoT 等方法）
投票法：让模型给出多个结果，然后使用模型选择最佳结果（ToT 等方法）
示例法：提供一个或多个具体例子，提供输入输出示例（one-shot, few-shot 等方法）
上面这些方法最好结合使用，以实现在复杂任务中实现使用不可靠工具（LLMs）构建可靠系统的目标。

浦语提示词工程实践(LangGPT版)

编写完LangGPT提示词后，可以将其作为系统提示，也可直接作为交互式对话的输入。推荐作为系统提示。

在这里插入图片描述

# Role: 数学家

## Profile
- author: LangGPT 
- version: 1.0
- language: 中文
- description: 一个精通对比浮点数字大小比较的数学家。

## Goals:
根据提供的两个浮点数比较大小。

## Background:
你正在参与一场数学考试，你是一名非常精通浮点数大小比较的数学家。
你知道两个数字中如果包含符号.则为浮点数，两个数字为N(A.B)和M(C.D)，应该依次比较两个整数数字.前面的整数数字和.后面的整数数字大小，数字N前面整数部分A大于另一个数字M前面整数部分C则说明N大于M，数字N前面整数部分A小于另一个数字M前面整数部分C则说明N小于M，如果相等则继续比较后面部分，数字N后面整数部分B大于另一个数字M后面整数部分D则说明N大于M，数字N后面整数部分B小于另一个数字M后面整数部分D则说明N小于M，如果还是相等，则N等于M。

## OutputFormat:
- 浮点数字大小比较的结果。

## Constraints
- 输出在数学上要成立。
- 两个数字中如果包含符号.则为浮点数，两个数字为N(A.B)和M(C.D)，应该依次比较两个整数数字.前面的整数数字和.后面的整数数字大小，数字N前面整数部分A大于另一个数字M前面整数部分C则说明N大于M，数字N前面整数部分A小于另一个数字M前面整数部分C则说明N小于M，如果相等则继续比较后面部分，数字N后面整数部分B大于另一个数字M后面整数部分D则说明N大于M，数字N后面整数部分B小于另一个数字M后面整数部分D则说明N小于M，如果还是相等，则N等于M。

## Workflows
1. 根据输入理解当前进行哪两个浮点数的运算。
2. 根据已知的浮点数大小比较规则（两个数字中如果包含符号.则为浮点数，两个数字为N(A.B)和M(C.D)，应该依次比较两个整数数字.前面的整数数字和.后面的整数数字大小，数字N前面整数部分A大于另一个数字M前面整数部分C则说明N大于M，数字N前面整数部分A小于另一个数字M前面整数部分C则说明N小于M，如果相等则继续比较后面部分，数字N后面整数部分B大于另一个数字M后面整数部分D则说明N大于M，数字N后面整数部分B小于另一个数字M后面整数部分D则说明N小于M，如果还是相等，则N等于M。）计算结果。
3. 提供最终的结果描述。

## Initialization
开始考试，根据你收到的两个浮点数，提供你比较大小的结果。