LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS

最新推荐文章于 2024-11-23 14:59:51 发布
最新推荐文章于 2024-11-23 14:59:51 发布
阅读量1.6k 收藏 7
点赞数 9
分类专栏： 论文随笔 文章标签： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42464569/article/details/135064290
版权

Tags: LLM
Authors: Andrei Ioan Muresanu, Harris Chan, Jimmy Ba, Keiran Paster, Silviu Pitis, Yongchao Zhou, Ziwen Han
Created Date: October 31, 2023 10:53 AM
Status: Reading
organization: University of Toronto, University of Waterloo, Vector Institute
publisher : ICLR
year: 2023
code: https://github.com/keirp/automatic_prompt_engineer
paper: https://sites.google.com/view/automatic-prompt-engineer

介绍

在大模型时代，提示的作用非常巨大，一个好的提示可以在任务中表现出极好的性能。但通常来说最有效的提示是由人手工制作的，需要耗费大量的人工开销。因此本文就尝试让大语言模型自动生提示本并优化提示。

整体框架

整体流程如下：

  1. 利用大语言模型，根据数据集中的输入和输出，构造多个提示。
  2. 对每个提示进行打分。
  3. 筛选性能较好的提示，让大语言模型根据筛选结果生成相近的提示
  4. 选择最优的提示。

不同生成模板

为了适应不同的需求，作者还设计了三种不同的模板

迭代生成

为了更好地搜索优质提示，作者根据当前得分较好的提示进行重新生成。

实验结果

Greedy表示只生成一个提示，不进行筛选。

大型语言模型是具有人类水平的提示工程师（ICLR2023）
weixin_45785795的博客
12-30 1151
这是因为指令通常在段落的开头，而“前向”模型只从左到右生成文本，这要求指令在提示的末尾进行预测。为了解决这个问题，我们考虑“反向”模式生成，它使用具有填充功能的LLM，例如T5，GLM和InsertGPT，来推断缺失的指令。例如，在本文的TruthfulQA实验中，作者从原始数据集中使用人工设计的指令开始，并要求“反向”模型提出初始指令样本，以适应缺失的上下文。2）虽然LLMs可以执行广泛范围的自然语言程序，但这些程序的处理方式对人类来说可能并不直观，指令的质量只能在执行这些指令时在下游任务上进行衡量。
LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS翻译
nopSled
12-02 2219
模型规模和基于注意力网络结构的结合使语言模型具有前所未有的通用计算能力。这些所谓的“大型语言模型”（LLMS）在各种任务范围内（包括zero-shot和few-shot学习）表现出了显着的甚至是超越人类的能力。但是，有了通用性，就会出现一个控制问题：我们如何使LLMS做我们想让其做的事？为了回答这个问题，并指导LLM完成目标行为，最近的工作考虑了微调，in-context学习以及若干提示生成的形式，这包括基于软提示的可微分微调和自然语言提示工程。后者更受研究人员的关注，
论文翻译 | LARGE LANGUAGE MODELS ARE HUMAN-LEVELPROMPT ENGINEERS
m0_49651195的博客
10-14 1568
通过在自然语言指令上进行调节，大型语言模型（LLMs）已经展现出了作为通用计算机的惊人能力。然而，任务表现很大程度上取决于用于引导模型提示的质量，而最有效的提示通常是由人工精心设计的。受到经典程序合成和人类提示工程方法的启发，我们提出了自动提示工程师1（APE）用于自动指令生成和选择。在我们的方法中，我们将指令视为“程序”，通过搜索由LLM提出的指令候选池来优化，以最大化选定的评分函数。为了评估所选指令的质量，我们评估了另一个LLM在遵循所选指令的零样本表现。
大语言模型：APE:Large Language Models Are Human-Level Prompt Engineers概述
qq_43210957的博客
03-11 758
如何通过prompt，在不进行微调大语言模型的前提下，增加大语言模型的表现。
论文 | LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS
m0_49651195的博客
10-14 675
这篇论文展示了一个有趣的想法，即利用 LLM 自动生成和选择指令，从而提高模型在下游任务中的性能。未来，我们可以进一步探索 APE 的应用场景，例如将其用于其他具有自然语言界面的模型，并开发用于优化提示长度的方法，以进一步降低成本。本文提出了一种名为 APE (Automatic Prompt Engineer) 的方法，旨在自动生成和选择用于指导大型语言模型 (LLM) 的指令。APE 是一种很有前景的方法，可以自动生成和选择用于指导 LLM 的指令。： 2023 年 ICLR 会议论文。
Prompt相关论文阅读(01)--大语言模型是人类级别的提示工程师(2024-11-23)
zhilanguifang的博客
11-23 760
通过在自然语言指令上的条件化，大语言模型作为通用目的的计算机展示出了令人印象深刻的能力。然而，任务的表现在很大程度上依赖于用来指导模型的提示的表现，并且大多数有效的提示是人类起草的。受到经典程序合成和人类提示工程的启发，我们提出了自动提示工程APE用于自动指令生成和选择。在我们的方法中，我们将指令视为“程序”，通过搜索一个由LLM提出的指令候选池来优化，以最大化选择的得分函数。为了评估所选指令的质量，我们评估了跟随所选指令的另一个LLM的零样本性能。
LLM系列(2)：开源LLM Promp调优之道进阶指南
丨汀、的博客
04-30 790
LLM系列(2)：开源LLM Promp调优之道进阶指南
提示工程 & 自主生成提示 - 调研报告
05-18
- **论文标题**：“Large Language Models are Human-Level Prompt Engineers” - **论文链接**：[https://arxiv.org/pdf/2211.01910](https://arxiv.org/pdf/2211.01910) - **代码链接**：...
大型语言模型用例和应用程序 Large Language Models Use Cases and Applications
AI天才研究院
06-28 4127
LLM是一种软件，它非常理解语言，并利用这种理解来采取某种行动。LLM 提供的最常见操作是生成内容、查找信息、交谈或帮助组织数据。这篇文章的重点是人类语言。但重要的是要注意，其他领域也有语言，因此也受益于LLM。一个常见的例子是基因组学，其语言是DNA。为了使LLM对某些特定任务有用，应用程序将接受来自用户的一个或多个提示，然后将其作为LLM的输入提供。这些提示通常是问题、说明、描述或其他一些文本序列。
AI取代人类，可以自动生成prompt了
夕小瑶科技说
11-01 4656
文 | 智商掉了一地如何才能让大型语言模型按照我们的要求去做？这篇文章给出了回答——近期在 NLP 领域风很大的话题莫过于 Prompt，尤其当大型语言模型（LLM）与其结合，更是拉近了我们与应用领域之间的距离，当 LLM 在包括小样本学习在内的各种任务中表现出非凡的效果和通用性时，也存在着一个问题亟待解决：如何让 LLM 按照我们的要求去做？这也是本篇论文的一个重要出发点。本文作者将 LLM 视...
chatgpt 数据相关应用论文策略简介
消极的人永远是对的，积极的人选择勇往直前
04-29 2934
从ChatGPT里借训练数据
「论文阅读」还在手写Prompt，自动Prompt搜索超越人类水平
百川的博客
04-07 1089
手写prompt确实很费脑筋，但其实本身大语言模型就是一个很好的自动prompt工具，文章提出自动prompt工程（Automatic Prompt Engineer），利用语言模型+蒙特卡洛搜索 自动的寻找最优的Prompt样例，最终在多项任务的效果几乎达到人类水平。
2023年全国计算机一级理论题汇总.pdf
最新发布
03-25
2023年全国计算机一级理论题汇总.pdf
2023年计算机组成与维护教程题库及答案.pdf
03-25
2023年计算机组成与维护教程题库及答案.pdf
基于SSM+JSP的二手交易平台网站+数据库（Java毕业设计，包括源码，教程）.zip
03-25
Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：jsp 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4
【人机交互】MATLAB图像去雾系统.zip
03-25
【人机交互】MATLAB图像去雾系统
Java毕业设计-基于SpringBoot+Vue+MySql的智能推荐点餐系统(1)（附源码、数据库、教程）.zip
03-25
Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
03-09
### Chain-of-Thought Prompting Mechanism in Large Language Models In large language models, chain-of-thought prompting serves as a method to enhance reasoning capabilities by guiding the model through structured thought processes. This approach involves breaking down complex problems into simpler components and providing step-by-step guidance that mirrors human cognitive processing. The creation of these prompts typically includes selecting examples from training datasets where each example represents part of an overall problem-solving process[^2]. By decomposing tasks into multiple steps, this technique encourages deeper understanding and more accurate predictions compared to traditional methods. For instance, when faced with multi-hop question answering or logical deduction challenges, using such chains allows models not only to generate correct answers but also articulate intermediate thoughts leading up to those conclusions. Such transparency facilitates better interpretability while improving performance on various NLP benchmarks. ```python def create_chain_of_thought_prompt(task_description, examples): """ Creates a chain-of-thought prompt based on given task description and examples. Args: task_description (str): Description of the task at hand. examples (list): List containing tuples of input-output pairs used for demonstration purposes. Returns: str: Formatted string representing the final prompt including both instructions and sample cases. """ formatted_examples = "\n".join([f"Input: {ex[0]}, Output: {ex[1]}" for ex in examples]) return f""" Task: {task_description} Examples: {formatted_examples} Now try solving similar questions following above pattern. """ # Example usage examples = [ ("What color do you get mixing red and blue?", "Purple"), ("If it rains tomorrow, will we have our picnic?", "No") ] print(create_chain_of_thought_prompt("Solve logic puzzles", examples)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值