迪肯大学：情景记忆和强化学习优化LLM提示

最新推荐文章于 2025-03-26 17:31:49 发布
最新推荐文章于 2025-03-26 17:31:49 发布
阅读量733 收藏 17
点赞数 27
分类专栏： 大模型-推理优化 大模型-模型训练 文章标签： 人工智能 自然语言处理 语言模型 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46739757/article/details/141896944
版权

在这里插入图片描述

📖标题：Large Language Model Prompting With Episodic Memory
🌐来源：arXiv, 2408.07465

摘要

🔸优化提示对于提高大型语言模型（LLMs）在自然语言处理（NLP）任务中的表现至关重要，特别是在少量样本学习的情况下，其中训练示例直接并入提示中。尽管越来越多的人对使用少量示例优化提示感兴趣，但现有的提示优化方法通常需要大量资源或表现不佳。
🔸在这项工作中，我们提出了一种新颖的提示优化技术——具有情节记忆的提示（POEM），它简单高效，具有强大的泛化能力。我们将提示优化视为强化学习（RL）挑战，并使用情节记忆来归档输入数据的组合、少量示例的排列以及训练期间观察到的奖励。在测试阶段，我们通过选择在情节记忆中与前k个最相似的训练示例中获得最高总奖励的序列来为每个测试查询优化示例序列。
🔸我们的结果表明，POEM在各种文本分类任务中比最近的技术（如TEMPERA和RLPrompt）表现更好，性能提高了5.3%以上。此外，我们的方法适用于更广泛的语言理解任务，并始终优于传统的启发式方法来排序示例。

🛎️文章简介

🔸研究问题：在少样本

最低0.47元/天 解锁文章
大型语言模型的“记忆式“提示优化
步子哥的博客
08-16 797
在人工智能领域,大型语言模型(LLM)正在引领一场革命。然而,如何有效地"提示"这些模型,使其发挥最大潜力,一直是研究人员面临的挑战。最近,来自澳大利亚迪肯大学和ServiceNow研究院的研究团队提出了一种新颖的方法,借鉴人类大脑的认知机制,为LLM的提示优化开辟了新的道路。这项研究不仅在技术上取得了突破,更为AI与人类认知的融合提供了全新视角。
论文导读 | 大语言模型中应用到的强化学习算法
weixin_48167662的博客
05-08 2813
在最近取得广泛关注的大规模语言模型（LLM）应用强化学习（RL）进行与人类行为的对齐，进而可以充分理解和回答人的指令，这一结果展现了强化学习在大规模NLP的丰富应用前景。本文介绍了LLM中应用到的RL技术及其发展路径，希望给读者们一些将RL更好地应用于大规模通用NLP系统的提示与启发。
大语言模型的情景记忆
Hanscal
09-03 750
本文提出了一种名为POEM的新方法，利用情景记忆优化提示中的示例顺序，有效提升了大型语言模型在少量示例学习场景下的性能。论文题目： Large Language Models Prompting With Episodic Memory论文链接： https://arxiv.org/abs/2408.07465PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
从理解强化学习及其在 LLM 中的作用开始手把手教你构建DeepSeek-R1推理模型
AI人工智能的学习之路
03-05 1934
本文深入探讨了强化学习（RL）在大型语言模型（LLM）训练中的应用，特别是通过人类反馈强化学习（RLHF）技术对齐人类偏好。文章重点介绍了组相对策略优化（GRPO）这一创新算法，其通过生成多个响应组、组内归一化优势计算和KL散度约束，显著提升了训练效率和稳定性。此外，本文详细解析了DeepSeek R1模型的四阶段训练流程，展示了其在数学和编程任务中的卓越表现。最后，文章还介绍了如何在TRL库中实现GRPO，并提供了配置参数、奖励函数设计和训练监控指标等实用建议
大模型是怎么被训练出来的？AI大模型落地必读
最新发布
呱牛 Just do IT
03-26 844
2025年年初随着DeepSeek的爆火，人们对LLM（Large Language Model，大语言模型）兴趣与日激增，很多人觉得LLM常常显得近乎魔法般神奇。接下来我们就来揭开LLM的神秘面纱。
大模型(LLMs)强化学习
qq_41458274的博客
09-12 1578
1. 在预训练好的模型上进行「有监督微调」(SFT);先收集一个Prompts集合，并要求标注人员写出高质量的回复，然后使用该数据集以监督的方式微调预训练的基础模型。2. 在有监督微调模型基础上创建一个reward model(RM)模型;对于每个Prompt，要求有监督微调后的LLM生成四到九个回复，再由标注人员根据个人偏好对所有回复进行排序。虽然排序过程很耗时，但工作量还是比第一步的有监督数据集构建要少一些。
LLM —— 强化学习（RLHF-PPO和DPO）学习笔记
STAR GAME
08-28 3676
LLM中强化学习 RLHF部分学习
LLMs: 强化学习从人类反馈中学习Reinforcement learning from human feedback (RLHF)
AI架构师易筋
09-29 981
让我们考虑一下文本摘要的任务， 即使用模型生成一段简短的文本，捕捉 较长的文章中最重要的观点。您的目标是通过向模型 展示人工生成的摘要示例，使用微调来提高模型的总结能力。2020年，OpenAI的研究人员发表了一篇论文，探讨了使用 人工反馈进行微调来训练模型撰写文本文章的简短摘要。在这里，你可以看到，与 预训练模型、 指令微调模型甚至参考人类基线相比，根据人类反馈进行微调的模型产生的响应效果更好。
如何增强大型语言模型LLM的学习能力？
weixin_42608414的博客
02-21 499
由于当前ChatGPT模型所学习到的知识是截止到2021年，那么当用户向ChatGPT询问2021年以后发生的事情时,ChatGPT往往会给出千奇百怪的错误答案，为了避免这样的问题，我们可以可以利用百度搜索的结果来让ChatGPT学习，从而可以在很大程度上降低ChatGPT给出错误答案的概率。
德国马普所：LLM序列记忆评估
大模型任我行的博客
11-11 965
如何评估大语言模型（LLM）在序列顺序回忆任务中的情景记忆能力？论文提出了一种新的评估方法SORT，创建了相应的数据集Book-SORT，并通过实验验证了不同记忆插入方法对模型性能的影响。
大语言模型LLM Large Language Model 的涌现Emergence 反馈强化学习 RLHF 预训练 token word embeddings 温度 temperature=0.7
AI架构师易筋
06-16 1247
Large Language Model（大型语言模型）是指具有大规模参数数量和处理能力的语言模型。这些模型通过深度学习技术训练，能够处理和生成自然语言文本。大型语言模型在自然语言处理领域发挥着重要作用，它们能够理解和生成文本，执行语言相关的任务，如机器翻译、文本摘要、情感分析、对话系统等。这些模型的训练基于大量的文本数据集，使其能够学习语言的结构、语法、语义和上下文相关性。近年来，随着技术的发展和计算资源的增加，大型语言模型变得越来越强大。
大语言模型(LLM)和基于人类反馈的强化学习(RLHF)
机器会学习的博客
05-09 5357
语言模型如此伟大和神圣，回答问题，如此快速，如此精细。从科学到艺术，它们像星星一样闪耀，让人类看起来没有那么远。
推理大模型的后训练增强技术-强化学习篇
yanqianglifei的专栏
03-09 875
人生中充满选择，每次选择就是一次决策，我们正是从一次次决策中，把自己带领到人生的下一段旅程中。在回忆往事时，我们会对生命中某些时刻的决策印象深刻：“唉，当初我要是去那家公司实习就好了，在那里做的技术研究现在带来了巨大的社会价值。”通过这些反思，我们或许能领悟一些道理，变得更加睿智和成熟，以更积极的精神来迎接未来的选择和成长。在机器学习领域，有一类重要的任务和人生选择很相似，即序贯决策（sequential decision making）任务。
基于人类反馈的强化学习(RLHF)在LLM领域是如何运作的？
Hanze的博客
04-25 1530
但是当我们与聊天机器人去一步步互动（agent与环境）的时候，我们不知道什么样的答案是最好的，但是可以用一些学习的策略，去验证它是好是坏，比如说agent与环境交互（我们像chatgpt提问），agent反馈了一个action（next token 或者 下一组tokens），然后通过奖励模型（也可以是LLM），得到一个好坏的评分，强化学习的目标就是最大化这个奖励。奖励模型的输入是agent的action（chatgpt回答的内容），然后返回一个标量，这个标量的数值代表人的偏好程度。
一文读懂 LLM 训练：从预训练到微调【大模型行业应用入门系列】
kaka0722ww的博客
04-16 6982
LLM Training 是指大型语言模型（LLM）的训练过程。作为一种采用超大规模数据进行预训练的深度学习模型，LLM 训练目标是培养出一个能够理解和生成自然语言文本的模型。在这个过程中，LLM 通过处理海量文本数据来学习语言的规律、语义和上下文关系等训练方式，可以获得丰富的语言知识和智能，从而使得能够自动理解和生成人类语言。通常而言，这种训练过程通常需要大量的计算资源和时间，以便模型能够充分地学习语言的各个方面。
论文理解【LLM-agent】—— 【Reflexion】Language Agents with Verbal Reinforcement Learning
佚失的诗篇
09-02 2404
本文介绍 LLM agent 领域的经典方法 Reflexion，它通过引入 episodic memory 为 agent 提供长期记忆，在不微调模型的参数的同时实现了基于上下文的试错学习，性能提升显著
为啥强化学习开始成为了大语言模型（LLM）的新宠？
2401_85373691的博客
12-31 1510
强化学习是机器学习的一个分支，核心在于智能体（agent）与环境（environment）的交互。智能体执行动作（action），环境随之反馈奖励（reward）和新的状态（state）。智能体的目标便是通过不断试错，学习到能最大化长期累积奖励的策略（policy）。大语言模型的预训练依赖海量无监督文本数据，构建起庞大的参数空间来捕捉语言规律。缺乏任务针对性：预训练后的模型像是个“知识杂烩”，面对具体任务，如撰写专业法律文书、创意故事写作时，难以迅速精准输出，容易给出宽泛、缺乏重点的回答。与人类偏好偏差。
最近在LLM领域大放异彩的强化学习，给医学图像处理带来的启发｜个人观点·25-01-08
罗小罗同学的博客
01-08 999
文章提出了一种基于强化学习的框架，用于从乳房超声视频中自动提取关键帧，以辅助医生进行诊断。该框架通过结合检测模块和奖励机制，能够有效筛选关键帧，提高诊断准确性。研究背景乳腺癌筛查的重要性：乳腺癌是全球常见癌症，早期诊断对治疗和生存率至关重要，超声在乳腺癌诊断中具有重要作用，尤其是对致密型乳腺。关键帧提取的必要性：超声检查中准确识别和诊断病变需要专业知识，现有计算机辅助诊断工具常忽视关键帧选择，且病变在扫描中形状、大小和位置多变，其诊断特征识别具有挑战性且面临类别不平衡问题。研究方法。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1309
参考 [小学生也能听得懂的大模型 Transformer 1]
迪肯大学纤维创新中心：探索现代纤维材料前沿与应用
迪肯大学在这方面进行的深入研究，可能涉及到纤维直径的控制、材料的选择以及生产工艺的优化。 天然纤维的新应用也是迪肯大学关注的重点。澳大利亚丰富的自然资源使得该地区在天然纤维如羊毛、棉花、麻等的研究上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型任我行

随意啦，喜欢就好~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值