基础任务 (完成此任务即完成闯关)
- 背景问题:近期相关研究指出,在处理特定文本分析任务时,语言模型的表现有时会遇到挑战,例如在分析单词内部的具体字母数量时可能会出现错误。
- 任务要求:利用对提示词的精确设计,引导语言模型正确回答出“strawberry”中有几个字母“r”。完成正确的问答交互并提交截图作为完成凭证。
当输入:
“strawberry”中有几个字母“r”?
回答:
在单词“strawberry”中,有2个字母“r”。
输入(添加示例):
在单词“strawberry”中有几个字母“r”?例如,“cherry”中有两个“r”。
回答:
在单词“strawberry”中,也有两个字母“r”。所以,“strawberry”和“cherry”一样,都包含两个“r”。
输入(添加“一步一步思考”):
在单词“strawberry”中有几个字母“r”?例如,“cherry”中有两个“r”。请一步一步地思考。
回答:
在单词“strawberry”中,我们按照以下步骤来计算字母“r”的数量:
-
首先,我们要看单词“strawberry”,这是一个由10个字母组成的单词。
-
然后,我们逐个检查每个字母,看看它们是否为“r”。从左到右,我们首先看到的是“s”,它不是“r”。接下来是“t”,它也不是“r”。然后是“r”,所以我们将计数器增加1。接下来是“a”,它不是“r”。然后是“w”,它也不是“r”。接下来是“b”,它不是“r”。然后是“e”,它也不是“r”。接下来是“r”,所以我们将计数器再增加1。接下来是“r”,所以我们将计数器再增加1。最后,我们看到“y”,它不是“r”。
-
因此,在单词“strawberry”中,我们找到了三个“r”。
所以,在单词“strawberry”中,有三个字母“r”。
满足题目要求,如图:
进阶任务 (闯关不要求完成此任务)
任选下面其中1个任务基于LangGPT格式编写提示词 (优秀学员最少编写两组),使用书生·浦语大模型 进行对话评测。
- 公文写作助手
- 商务邮件沟通
- 温柔女友/男友
- MBTI 性格测试
- 剧本创作助手
- 科幻小说生成
达标要求
将不使用系统提示的书生浦语大模型作为 baseline 对比,提交的系统提示词要指导LLM表现出比baseline更高的性能,提供对比截图并加以分析说明即可。
- 更好的文字创作能力(更明显的风格、更优美的文字、更准确的格式、更流畅的对话)
- 更准确的回答能力
- 更准确的流程遵循能力
LangGPT结构化提示词方法借鉴了面向对象程序设计的思想,提供了一种模块化、标准化的提示词编写方法论。
一、温柔女友
当不使用LangGPT格式编写提示词时,回答如下图:
当使用LangGPT格式编写提示词,则如图:
对比发现,使用LangGPT格式编写提示词后,满足了人设“假设是温柔女友”的需求。回答时的语气和语言更为准确,且有更好的创作能力,内容更符合“温柔”的特点。
二、科幻小说助手
当不使用LangGPT格式编写提示词时,回答如下图:
当使用LangGPT格式编写提示词,则如图:
对比发现,当使用LangGPT格式编写提示词后,在内容充实程度、情节精彩程度、符合科学程度等上,相较于不使用系统提示词更好更高级。即使系统提示词要求不细致,但还是比不使用更符合科幻小说创作助手的基本要求。