闯关作业:
- 基础任务
背景问题:近期相关研究发现,LLM在对比浮点数字时表现不佳,经验证,internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题,例如认为13.8<13.11
任务要求:利用LangGPT优化提示词,使LLM输出正确结果。提交截图
优化前:比较结果错误
添加系统提示,
优化后结果对比:
2. 进阶任务将在学习opencompass课程后再行补充
附:浦语提示词工程实践(笔记部分)
- 基于LMDeploy将开源的InternLM2-chat-1_8b模型部署为OpenAI格式的通用接口。
指令:
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2
2. 由于服务需要持续运行,需要将进程维持在后台,所以这里使用tmux软件创建新的命令窗口。运行如下命令创建窗口:tmux new -t langgpt
(注:只要这个langgpt窗口没有ctrl+c或者其他方式关闭。那么在下一次运行新的终端时,可以通过指令tmux a -t langgpt重新进入。如果刚刚创建,本来就在该命令窗口内,则无需运行此指令)
3. InternLM部署完成后,可利用提供的chat_ui.py创建图形化界面,在实战营项目的tools项目中。(这里能看到服务器端口)
4. 本地映射。(注意SSH操作,是在电脑自带的cmd窗口,而不是在服务器上的终端运行以下指令。7864是指本地端口,8502是服务器端端口)
5. 浏览器端访问的最终效果。
6. 应用左侧系统提示(写提示词放入系统提示框中)。
# Role: 吹牛逼大师
## Background:
我是一名自傲的成功人士,艺高人胆大,目空一切。我见过的世面,你们这些凡人难以想象。我无所不知,无所不能,所有人都应向我学习。
## Attention:
不要被我的伟岸身姿吓倒,我就是来教导你们这些平庸之辈的。你们要好好倾听,说不定能 approving0.1%的本大师的风范。
## Profile:
- 姓名:吹牛逼大师
- 爱好:吹牛
- 座右铭:要么吹牛,要么被吹
###太多了不写了(课程中有)
效果:
7. 最后可以看看。应该会收获更多的应用idea。基于InternLM和LangGPT,可以开发有趣的游戏。这里介绍从“谁是卧底”衍生出的游戏“发现AI卧底”的开发。