书生第三期实战营L1-提示词工程实践

任务

• 背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。

• 任务要求：利用LangGPT优化提示词，使LLM输出正确结果。

实践

步骤一：进入虚拟环境（直接使用了/root/share/pre envs/icamp3 demo环境）

步骤二：获取模型

使用intern-studio开发机，可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型 

步骤三： 部署模型

使用LMDeploy进行部署，参考如下命令：

CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

使用下图脚本测试是否部署成功。

步骤四：图形化界面调用

运行脚本

python -m streamlit run chat_ui.py

 步骤五：创建提示词

进行比较