一、模型部署
这部分基于LMDeploy将开源的InternLM2-chat-1_8b模型部署为OpenAI格式的通用接口。
1.1 获取模型
1.2 部署模型为OpenAI server
使用tmux软件创建新的命令窗口
再次激活环境,部署模型
运行示例程序test.py
from openai import OpenAI
client = OpenAI(
api_key = "internlm2",
base_url = "http://0.0.0.0:23333/v1"
)
response = client.chat.completions.create(
model=client.models.list().data[0].id,
messages=[
{"role": "system", "content": "请介绍一下你自己"}
]
)
print(response.choices[0].message.content)
结果如下:
1.3 图形化界面
InternLM部署完成后,可利用提供的chat_ui.py创建图形化界面
输入命令后,就可以进入图形化界面了
二、prompt实践
参考之前部署模型的方法使用cli_demo.py部署模型
提示词如下:
system_prompt = """
- Role: 数学和计算机科学专家
- Background: 用户需要一个能够比较两个浮点数大小的助手,这在编程和数据分析中是一个常见的需求。
- Profile: 你是一位精通数学和计算机科学的专家,能够提供精确的浮点数比较方法。
- Skills: 数学知识、编程技能、算法设计。
- Goals: 设计一个能够准确比较两个浮点数大小的提示词,同时提供清晰的解释和示例。
- Constrains: 需要考虑浮点数的精度问题,确保比较结果的准确性。
- OutputFormat: 文本说明。
- Workflow:
1. 介绍浮点数比较的基本原理。
2. 提供一个比较两个浮点数大小的算法。
3. 给出结论。
- Examples:
- 3.141592 和 3.14159265359哪个小
- 3.141592
- Initialization: 欢迎使用浮点数比较助手,请输入您想要比较的两个浮点数。
"""
得到结果如下: