打靶归来!盛派 AI 提示词靶场初体验

一、引言

随着类ChatGPT的大型语言模型进一步发展,我们可以看到的是:ta逐渐渗透到人们的日常生活和工作中,彻底改变了人类生活和工作的各个方面,似乎已成定局。其发展速度可能比互联网还要快。这对于整个人类生产生活方式来讲,将是非常深刻的一次变革。

在现阶段,我们和ChatGPT、文心一言、通义千问等大语言模型进行交互时,主要的还是利用提示词掌握好提示词的用法,是我们有效利用AI工具提升我们工作学习效率的第一步。

1、什么是Prompt提示词

Prompt(提示词)是用于与人工智能(AI)对话系统进行交互时提供的指导性文本。

Prompt 就像是一把引导对话的魔杖,它可以帮助我们更好地与AI进行交流。通过编写清晰、明确的提示词,我们能够准确表达自己的意图和问题,从而得到系统更精确的回答。Prompt 的好坏直接影响到对话的效果和用户体验,因此深入理解 Prompt 的重要性对于与AI进行有效的交流至关重要。

2 现阶段我们使用提示词的痛点问题

正如苏老师在周三(2024821日)的分享中所介绍的那个场景一样:

“如果大家用过一段时间大模型和提示词后,我们会发现,我们和大模型对话时,使用的提示词,一定不是最好的,一定不是我们最想要大模型给我们最满意答复的提示词。”

“为什么?”

“是因为我们还想得到更好的答案,我们心中想要的那个答案。”

换句话说,现阶段我们使用提示词的痛点问题大多在于,因为问题描述不够清晰导致生成的答复往往无法完全满足我们预期。可能我们在对话的前几次所的用提示词,所得到的大模型答复,要比这次最新的要更好。但是受限于对话次数,和相关平台能力的约束,我们无法再用之前条件,或者相同语境的上下文继续和大模型对话。

所以我们为了解决这个问题,为了我们能向我们所期望的目标不断进发,不断的完善和优化提示词,以便于我们命中🎯我们的目标,从而衍生出“提示词靶场”这个诉求。

而我们的最终目标是得到我们心目中的理想答案。正如软件工程要不断迭代,通过不断的“小步快跑”,从而不断完善我们的提示词工程,最终命中靶心!

二、盛派AI提示词靶场

1、什么是盛派AI提示词靶场

顾名思义,PromptRange提示词靶场)是一个为 Prompt(提示词)优化而生的训练场,这是一个生态,你可以在 PromptRange 生态中获得一系列工具,帮助你快速落地提示词工程(Prompt Engineering),例如:

  1. 储存、比较、分析、优化提示词的各项性能,包括模型的适配性、效率、准确性……
  2. 获取或公开优秀的提示词
  3. 为应用场景生成匹配提示词的开发代码
  4. 交易提示词
  5. 待您发现….

盛派提示词靶场也是盛派AISenaprc.AI)全家桶的一部分,盛派AI也是开箱即用的AI应用(具体的可以参考前篇文章“开箱即用的盛派AI应用”),ta也是基于盛派AI标准,用NCF模块生成器独立构建的项目,我们可以轻松的集成到NCF里面,从而增强我们自有项目的AI特性。

备注:NeuCharFramework(NCF) 是一整套可用于构建基础项目的框架,包含了基础的缓存、数据库、模型、验证及配套管理后台,高度模块化,严格遵循 DDD 设计模式,具有高度的可扩展性。

NCF项目地址(https://github.com/NeuCharFramework/NCF

本篇分享我们也将使用NCF项目来进行Demo介绍。

2、提示词靶场项目介绍

源代码地址https://github.com/Senparc/Senparc.AI.PromptRange

基于 Senparc.AI SenparcPromptRange,提示词靶场的底层标准库。

目前可使用 Senparc.Xncf.PromptRange 开发基于 PromptRange 核心的应用,兼容 Web、桌面、手机等系统,请使用 .NET 6.0 或以上框架。

NeuCharFramework(NCF) 框架已经默认集成 Senparc.Xncf.PromptRange

可无需修改任何代码,直接使用。

故我们只需要获取到NCF项目的代码即可体验盛派AI提示词靶场~

那么接下来我们将结合NCF项目来带着大家一起感受一下提示词靶场!

注意:这里我们依然使用盛派开发者社区的纽插平台给我们免费提供的AI大模型 Api key,如需获取,请联系小嗨,并参考之前的文章“开箱即用的盛派AI应用”进行食用。

三、盛派AI提示词靶场初体验

1、获取并运行盛派NCF项目

NCF项目地址https://github.com/NeuCharFramework/NCF

然后我们可以使用git工具对仓库进行获取

git clone https://github.com/NeuCharFramework/NCF.git

或者直接下载打包好的zip文件

当我们克隆或者解压缩好项目后,我们能看到项目的文件夹结构如下图所示:

我们找到src文件夹📂src,然后双击进入

我们继续进入 back-end 文件夹📂 back-end,然后双击进入

这就是我们NCF项目的后端文件夹,我们找到NCF.sln 解决方案,并双击打开

我们看到盛派AI核心模块以及盛派AI提示词已经默认集成在NCF中

所以我们无需任何操作,直接运行项目即可!

按下键盘F5 或者在窗口的上方我们找到绿色的运行按钮,点击即可启动!

当我们看到NCF的启动页面时,恭喜您!这就证明我们项目成功启动了!

我们继续点击“立即安装”,然后我们点击确定

会弹出NeuCharFramework初始化安装成功! 的提示

请注意保存好您的信息,此处的账号和密码肯定和您显示的不一样,以您电脑浏览器中显示的信息为准!

2、登录盛派NCF项目并安装AI核心及提示词靶场模块

我们继续点击“点击这里登录管理员后台”

将我们得到的管理员账号和密码分别复制粘贴到我们的登录页面中,然后点击登录

即可进入到NCF管理员后台界面

接下来展开扩展模块,点击模块管理,或者点击主页的模块统计数字区域,即可进入模块管理页面。我们需要对“提示词靶场”和“AI核心模块”进行安装!

1、安装提示词靶场模块,并点击开启按钮

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

这是点击开启前的样子

这是点击开启后的样子

2、安装AI核心模块

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

请一定点击 “开启” 按钮

这是点击开启前的样子

这是点击开启后的样子

3、配置AI核心模块中的AI模型

我们从左侧的菜单中展开AI核心模块,并点击首页,即可打开模型管理列表页面,点击添加

我们看到可以选择的平台有很多,这里我们介绍继续使用NeuCharAI(免费)获取办法请查看上篇分享“开箱即用的盛派AI应用”并联系小嗨申请并获取ApiKey

模型类型也有很多,这里我们选择Chat聊天

请根据您的需要,配置模型名称

例如我们这里使用  gpt-4o

请您参考下图进行填写,ApiKey和Endpoint 请参考前一篇文章

一般是

"ApiKey": " da75c5******************891dc208", //在 https://www.neuchar.com/Developer/AiApp 申请

"Endpoint": "https://www.neuchar.com/<DeveloperId>", //查看 ApiKey 时可看到 DeveloperId

点击确定即可保存,我们会看到当前可以使用的模型列表(这里我们为了方便只演示盛派NeuCharAI的配置方式,后续文章我们会逐个进行演示配置,请大家敬请关注)

配置完成后,我们就可以使用提示词靶场进行打靶啦!

4、使用盛派AI提示词靶场

我们展开左侧提示词靶场列表,点击PromptRange 进入提示词靶场打靶界面

然后我们点击新建靶场

输入靶场名称,并点击确定

这里我们可以参照苏老师的直播视频进行体验,或者我们简单的一起体验一下

我们点击选择模型,并选中刚刚我们创建的NeuCharAI(请注意这里的名称是咱们之前创建模型时自定义的别名)

选中模型后,我们即可输入Prompt 和该模型进行聊天。

例如,我们输入“你好呀!请问你是谁?” 并点击右下方的 打靶(或者叫连发) 按钮

非常快的,我们在右侧的位置会看到输出,非常快!

那么我们继续提问,体验提示词工程的魅力

例如,我们继续追问:“请问你是哪个大模型,具体模型名称和版本可以叙述一下么,你是GPT-4吗?”

并点击打靶,这里我们可以选择:重新瞄准,并点击确定

我们看的大模型输出内容是:“你好!我是基于OpenAI的GPT-4模型的一个语言助手。GPT-4是OpenAI开发的一个先进的自然语言处理模型。如果你有任何问题或需要帮助,请随时告诉我!”

接下来我们简单使用一下提示词靶场的评分功能~

这里需要我们给出一下要求,以及评分规则

例如,在提示词中继续补充为:

“你好呀!请问你是谁?

请问你是哪个大模型,具体模型名称和版本可以叙述一下么,你是GPT-4吗?

请只回答是或者不是!

然后点击 设置AI评分标准按钮

通过添加按钮,给出几个预期结果,然后点击关闭

继续点击打靶,进行打靶!

我们依然可以选择重新瞄准,点击确定~

我们可以看到输出返回“是”,并且根据咱们的预设置的评分标准,打出了5分(因为多了一个句号。)我们可以进行手动打分,给出10分(满意这个答复)。

这里我们发现还没有实现我们的理想预期(只回答是或者否,而不需要标点符号)

所以我们可以继续优化我们的提示词,告诉大模型:“我们不需要标点符号!”

点击打靶,依旧可以是重新瞄准,点击确定~

这时我们看到右上方已经是我们满意的回答啦!

继续连发打靶,以便于验证我们提示词的精准度和稳定性~

这里我们尝试“连发” 5次(连续提问5次)

我们看到回答都是:是  且AI评分都是10分的满分💯

则证明,此时的提示词我们写得很完备了,是很优质的提示词,达到了我们的预期👍

在选择靶道中,我们也可以看到效果打靶的过程,以及在界面右下方我们能看到分数的趋势图。

至此,我们的提示词完善成功!让大模型返回给我们的信息,满足了我们预期内容,打靶成功归来~

当然,盛派提示词靶场的功能还有很多,例如参数模型中有很多的参数可以进行模型请求参数调整,我们还可以用更加丰富的提示词来验证我们的需求。这里请大家发挥自己的聪明才智,借助盛派AI提示词靶场,继续锻炼自己的提示词能力吧!

心动不如行动,加入我们,一起练起来~

日落西山红霞飞

战士打靶把营归 把营归

胸前红花映彩霞

愉快的歌声满天飞

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值