通感——AI提示工程与认知规律(一)

前言:和论坛里的大家相比,自己是一个基本上没有技术背景的小白,因为偶尔会用到一些AI工具,所以关注了提示词工程的材料,有感于AI和人的认知方式相似性,于是有了这篇通感。

 

五一假期,在家修养,期间无聊,想想还是看看东西。自从学习课代表的AI课以及使用Cursor之后,越发觉得AI之后将极大的提升工作效率,而提示工程——这个作为自然语言与大模型之间的媒介,显得非常重要,所以读了Google的Prompt Engineering白皮书。

这次读后感的特殊之处,一是使用了快捷的读书方式,二是读后启发了一些日常认知逻辑相关的感受,毕竟,人工智能是机器认识世界的方法,和人类日常工作学习的方法是相通的,下面就一一展开。

一、读书方式——夸克翻译+夸克AI提问&Xmind

因为白皮书是全英文的,本人有一定英语基础不过近几年都是在中文工作环境,所以通读会比较慢,于是使用了夸克中的翻译文件功能。生成效果不错,基本上句子都比较完整且语义清晰。

通过这种方式,仅用了一个上午就读完了68页的白皮书。当然了,为了理解更准确,概念的部分一般需要英文+中文读,案例基本上就是完全看中文就ok。

之后,本来为了写读后感,打算用思维导图整体概括一下,然后就用夸克的聊天框问了问,也给到了文章的框架,但是因为浏览器本身没有绘制脑图的工具,需要单独使用脑图工具加工,所以又复制到Xmind上并整理了一下。主体内容基本涵盖,但是内容顺序和层次和目录有些差异,所以打算调整一版,不过里面的总结性描述非常有用,比如低温度(≤0.2)适合确定性输出,而高温度(≥0.8)适合创造性输出,这点在白皮书中只是以例子的方式展现,而没有总结出来。

二、和一些认知规律的通感

1. “You don't need to be a data scientist or a machine learning engineer - everyone can write a prompt."

“你不必是一个数据科学或者一个机器学习工程师——每个人都能写提示词。”

信心是学习的起点。这句话,让不懂编程和数据科学的我也相信自己可以用到提示工程(Prompt Engineering),极大的拓展了白皮书的受众,也给这些读者信心。

2.大语言模型输出配置中,需要采样控制(Sampling Controls),因为LLM是通过标记概率(token possibilities)去采样决定后面产生什么标记。温度(Temperature)、top-K 和 top-P是其中的三个参数,其中,温度控制标记选择中的随机性程度,top-K则是模型会筛选前K个最有可能的标记,而top-P则是被筛选出的多个标记的整体概率不高于P。

简而言之,这就是选择的影响因素,包括先验(之前的标记)、随意程度、可能性、覆盖范围。先验决定了有什么选项,随意程度不用解释,可能性和覆盖范围决定选择的方式。

3.在提示词技巧中,首先按照例子的多少分成了通用/零样例和有样例提示。给我的启示是,和机器对话,与和人对话一样,举例可以更好的说明自己的需求,让对方理解;如果用多个例子的话,最好是把特殊情况(edge case)也列举出来,以便对方可以处理。

4.系统提示、上下文提示和角色提示:系统提示明确了模型的基础能力和总体目的,上下文给出具体信息,角色则是增加了输出的特定性和层次。这三点,也同样适用于我们日常的表达:明确目的、给出具体说明,并针对对方角色个性化输出。

5.回溯提示:是一种通过促使大模型首先考虑与具体任务相关的通用问题,然后将该通用问题的答案输入到后续的具体任务提示中,从而提高性能的技术。这种“回溯”允许大模型在尝试解决具体问题之前激活相关的背景知识和推理过程。它通过利用大模型参数中的更多知识来改变执行任务的最终提示,而不是直接提示大模型时所涉及的知识。这种方法可以通过关注通用原则而非具体细节来减轻大模型回应中的偏见。

但是通过案例,个人反而觉得回溯的方式,可以增加输出的细节感,因为回溯首先根据通用问题进入特定的场景,而不会泛泛而谈。就像是白皮书中提供的案例,首先问了个人射击游戏可能会有的5种吸引人的环境设定,然后针对水下研究设施这个环境进行了故事线的编写。而没有回溯的提问,答案只是玩家需要充分利用环境掩体射击敌人。另外,对于我个人来说,回溯的效果正好弥补了自己演绎能力的不足。

6.链式思考:简单来说,就是把自己思考的步骤给AI,让AI据此回答。感觉和提供案例类似,只是案例直接给结果,链式思考给解题框架。

7.自我一致性:结合采样和多数投票来生成多样化的推理路径,并选择最一致的答案。这是一个烧脑的模式,因为要从多个角度对于问题思考并得出结论,然后根据所有结果中最多的作为答案,相当于“回溯”中的每一条路都要走完。

 

以上未完,下一篇继续。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值