LangGPT结构化提示词编写实践

任务

背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。

任务要求：利用LangGPT优化提示词，使LLM输出正确结果。

工作准备

准备好开发机+配置环境。开发机之前已经配置过了，这里不再赘述。我们直接配置环境。

模型部署的时候依赖库有torch，torch比较大下载过程比较缓慢。我们看下 InternStudio 上有没有现成的环境可以用

可以看到，有一个现成的 pytorch-2.1.2 可以用。
我们使用 InterStudio 提供的快速创建 conda 环境的方法创建我们自己的环境

studio-conda -t langGPT -o pytorch-2.1.2

创建完成后，我们再安装其他的必备库

# 安装其他依赖
pip install transformers==4.43.3

pip install streamlit==1.37.0
pip install huggingface_hub==0.24.3
pip install openai==1.37.1
pip install lmdeploy==0.5.2

部署模型

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

创建 test.py 文件，编写下面的代码，测试服务

from openai import OpenAI

client = OpenAI(
    api_key = "internlm2",
    base_url = "http://0.0.0.0:23333/v1"
)

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[
        {"role": "user", "content": " 你好呀"},
    ]
)

print(response.choices[0].message.content)

下面，我们针对 GPT 数学不好的问题，给出提示词，优化模型。

from openai import OpenAI

prompt = """
# Role: 数学专家
## Profile
- author: LangGPT
- version: 1.0
- language: 中文/英文
- description: 数学专家，擅长解决各种数学问题，包括代数、几何、微积分等。
 
## Skills
- 数学建模和分析
- 代数、几何、微积分等数学知识
- 熟练掌握各种
"""



client = OpenAI(
    api_key = "internlm2",
    base_url = "http://0.0.0.0:23333/v1"
)

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[
        # {"role": "system", "content": "请介绍一下你自己"},
        {"role": "system", "content": prompt},
        {"role": "user", "content": " 9.9和9.11哪个大"},
    ]
)

print(response.choices[0].message.content)