浦语提示词工程实践

1. 环境准备

1.环境配置

创建一个新环境

安装必要依赖:

conda activate langgpt
在这里插入代码片# 安装一些必要的库
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

2.创建项目路径

## 创建路径
mkdir langgpt
## 进入项目路径
cd langgpt

3.安装必要软件

apt-get install tmux

2. 模型部署

基于LMDeploy将开源的InternLM2-chat-1_8b模型部署为OpenAI格式的通用接口。

2.1 获取模型

由于本项目使用intern-studio开发机，可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型

2.2 部署模型为OpenAI server

由于服务需要持续运行，需要将进程维持在后台，所以这里使用tmux软件创建新的命令窗口。运行如下命令创建窗口：

tmux new -t langgpt

创建完成后，运行下面的命令进入新的命令窗口(首次创建自动进入，之后需要连接)：

tmux a -t langgpt

使用LMDeploy进行部署，命令：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

部署测试：

2.3 图形化界面调用

基于此仓库https://github.com/InternLM/Tutorial.git

cd Tutorial/tools
python -m streamlit run chat_ui.py

浏览器界面：

3.提示工程(Prompt Engineering)

3.1 什么是Prompt

Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。

Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。

Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。

总之，Prompt是一种灵活、多样化的输入方式，可以用于指导大语言模型生成各种类型的内容。

3.2 什么是提示工程

提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。

在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为next token prediction。

提示工程是模型性能优化的基石，有以下六大基本原则：

• 指令要清晰
• 提供参考内容
• 复杂的任务拆分成子任务
• 给 LLM“思考”时间(给出过程)
• 使用外部工具
• 系统性测试变化

3.3 提示设计框架

• CRISPE,参考:
  https://github.com/mattnigh/ChatGPT3-Free-Prompt-List
  • Capacity and Role (能力与角色)：希望 ChatGPT 扮演怎样的角色。​
  • Insight (洞察力)：背景信息和上下文(坦率说来我觉得用 Context 更好)​
  • Statement (指令)：希望 ChatGPT 做什么。​
  • Personality (个性)：希望 ChatGPT 以什么风格或方式回答你。​
  • Experiment (尝试)：要求 ChatGPT 提供多个答案。
• CO-STAR，参考https://aiadvisoryboards.wordpress.com/2024/01/30/co-star-framework/
  • Context (背景): 提供任务背景信息​
  • Objective (目标): 定义需要LLM执行的任务​
  • Style (风格): 指定希望LLM具备的写作风格​
  • Tone (语气): 设定LLM回复的情感基调​
  • Audience (观众): 表明回复的对象​
  • Response (回复): 提供回复格式

3.4 浦语提示词工程实践(LangGPT版)