本项目使用千帆大模型平台,所有大模型相关操作在该平台进行,所有在Prompt优化也是用该平台来实现,该平台进行Prompt调优的操作过程如下所示。
预置模板
平台已预置两百余款Prompt模板供您调用,您可根据自身详情,选取引用适合您的Prompt模板。点击指定的预置模板,支持查看大模型的推理详情。
预置模板支持复制和收藏,并且可保存至自制模板中。
自制模板
如预置模板无法满足您业务的需求,您还可以在自制模板模块,进行模板的创建。
创建Prompt模板
您需要在Prompt模板界面,选择“创建Prompt模板”按钮,当前支持您创建文生文和文生图两种模板。
文生文
填写好模板名称和范围内选择/新建模板标签,并选择“文生文”的场景类型,您还可以选择参数格式(支持大/中/小括号和双大/中/小括号格式等)注入变量。
模板框架分为如下个类型:
- 无 : 直接输入模板内容,插入参数格式。如,无变量prompt--帮我查询健身房的营业时间;有变量prompt--帮我查询{location}健身房的营业时间。
- Basic Prompt Framework :基本提示词框架,填写内容可参考如下:
更多详细内容可移步Basic Prompt Framework框架介绍。
- CRISPE Prompt Framework : CRISPE Prompt Framework是⼀个更完备的Prompt框架。
CR:Capacity and Role(能力与角色)。你希望 大模型 扮演怎样的角色。
I:Insight(洞察),背景信息和上下文。
S:Statement(陈述),你希望 大模型 做什么。
P:Personality(个性),你希望 大模型 以什么风格或方式回答你。
E:Experiment(实验),要求 大模型 为你提供多个答案。
更多详细内容可移步CRISPE Prompt Framework框架介绍。
- Few-shot Prompt : Few-Shot Prompt指提供指导⼤模型推理的示例。
支持创建更多示例,最多创建20组。示例1不支持删除。
更多详细内容可移步Few-shot Prompt框架介绍。
写入文生文的prompt模板时,可以同步开启以下推理超参值:
以下为不同模型类别的超参值填入项:
文生图
填写好模板名称和范围内选择/新建模板标签,并选择“文生图”的场景类型,您还可以选择参数格式(支持大/中/小括号和双大/中/小括号格式等)注入变量。
- 正向Prompt:支持输入中英文、符号、数字等,输入期望大模型生成图片所包含的元素。例如:one boy,blcak hair,running,playgroun,3D
- 负向Prompt:支持输入中英文、符号、数字等,是不希望大模型生成的内容。例如:unreal,Muliti person
- 推理超参数:写入文生图的prompt模板时,可以同步开启以下推理超参值:
1)图片比例:API入参size。生成图片长宽,默认值 1024x1024,取值范围:["512x512", "768x768", "768x1024", "1024x768", "576x1024", "1024x576", "1024x1024"]注意:建议选择较大尺寸,结合完善的prompt,以保障图片质量。
2)图片数量:API入参n。生成图片数量,说明:· 默认值为1· 取值范围为1-4· 单次生成的图片较多及请求较频繁可能导致请求超时。
3)采样步骤数:API入参step。进行采样的次数,说明:· 默认值为20· 取值范围为10-50。
4)采样方式:API入参sampler_index,默认值:Euler a,可选值如下:· Euler· Euler a· DPM++ 2M· DPM++ 2M Karras· LMS Karras· DPM++ SDE· DPM++ SDE Karras· DPM2 a Karras· Heun· DPM++ 2M SDE· DPM++ 2M SDE Karras· DPM2· DPM2 Karras· DPM2 a· LMS
更多采样内容,可查看快速调优手册。
查看Prompt模板
在Prompt模板列表中,点击模板可以查看Prompt模板详情,预置Prompt模板支持展示大模型的推理详情。
- 文生文(含变量--预置prompt)
选择去优化在线优化本条prompt;选择去测试在线验证本prompt的测试效果。
- 文生图(不含变量--预置prompt)
选择去测试在线验证本prompt的测试效果。
所有类型Prompt模板均自动生成接口地址,可以被业务方调用,预置的Prompt模板还可支持保存至自制模板,您可以在此模板基础上进行自定义编辑。
操作Prompt模板
在Prompt模板列表中可对指定模版进行如下操作:
- 编辑:重新编辑Prompt模板内容,包括模型名称、标签和内容。可查看创建Prompt模板相关内容。
- 删除:删除Prompt模板,一旦删除不可恢复。
- 复制:复制Prompt模版的内容,可以在线下粘贴进行优化。
我的收藏
预置模板和自制模板均支持收藏,方便您对相近属性的Prompt模板进行同一管理或引用。同时如果对某项Prompt模板不再需要您可以直接操作,取消收藏。
引用Prompt模板
Prompt模版可以直接在预测服务测试中进行实现,详细操作可参考在线测试使用说明。