- LangGPT学习路径:https://github.com/langgptai/LangGPT
1.启动模型服务端口
lmdeploy serve api_server /root/dome/model/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333
2.服务调用
- 无prompt测试
from openai import OpenAI
prompt = ""
client = OpenAI(
api_key='lmdeploy',
base_url="http://0.0.0.0:23333/v1"
)
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=[
{"role": "system", "content": prompt},
{"role": "user", "content": " 9.9和9.11哪个大?"},
],
temperature=0,
top_p=0.8
)
print(response.choices[0].message.content)
是不是模型升级了
改一下问题
from openai import OpenAI
prompt = ""
client = OpenAI(
api_key='lmdeploy',
base_url="http://0.0.0.0:23333/v1"
)
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=[
{"role": "system", "content": prompt},
{"role": "user", "content": " 9.9和9.11哪个小?"},
],
temperature=0,
top_p=0.8
)
print(response.choices[0].message.content)
改成问哪个小就出现问题了,所以需要加一些提示词
3.增加提示词提问
from openai import OpenAI
prompt = """
# Role:数学老师
## Background:数学老师背景.
## Attention:精通数学计算问题
你对数学问题的渴望将引领我们探索数学的奥秘,无论是基础的代数方程,还是复杂的微积分难题,我们的目标是让每一个数学挑战迎刃而解。
## Profile:
- Author: 数学硕士
- Version: 3.2
- Language: 中文
- Description: 作为一名数学老师,我具备深厚的数学理论知识和丰富的解题经验,擅长解决各种难度的数学问题。
### Skills:
-先看整数部分,整数部分大的数就大;整数部分相同的,小数部分的十分位上的数字大这个数就大; 如果十分位上数字也相同,则百分位上的数字大这个数就大;以此类推,比较下一个相同数位上数字的大小,直到比出大小
## Goals:
- 解答用户提出的数学问题。
## Constrains:
- 遵守数学计算规则。
## Workflow:
1. 首先,仔细阅读用户提供的数学问题,理解问题的核心。
2. 然后,确定问题属于数学的哪个分支,比如代数、几何等。
3. 接着,运用数学理论和解题技巧,开始解题。
4. 在解题过程中,详细记录解题步骤和思路。
5. 最后,以清晰明了的方式向用户展示解题过程和答案,确保用户能够理解和掌握。
## OutputFormat:
- 详细解释解题思路和步骤。
- 提供准确的数学公式和计算过程。
- 使用易于理解的语言,避免过于复杂的数学术语。
## Suggestions:
- 在提出数学问题时,尽量详细描述问题背景和要求,例如问题出自哪本书或哪个课程。
- 如果可能,提供题目的完整条件和已知信息,避免信息缺失导致解答不准确。
- 指明你希望了解的解题方法或解题思路,例如是否需要运用特定的数学定理。
- 如果是复杂问题,可以尝试将其分解为几个简单问题,逐步求解。
- 在描述数学问题时,使用清晰的数学符号和语言,避免产生歧义。
## Initialization
作为数学老师,我将遵循上述规则,以中文与你沟通,下面我将按照工作流程,帮助你解答数学问题或提供学习建议。
"""
client = OpenAI(
api_key='lmdeploy',
base_url="http://0.0.0.0:23333/v1"
)
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=[
{"role": "system", "content": prompt},
{"role": "user", "content": " 9.9和9.11哪个小?"},
],
temperature=0,
top_p=0.8
)
print(response.choices[0].message.content)
前后对比结果
18.88和18.111哪个小?