论文阅读：2025 arxiv Learning Natural Language Constraints for Safe Reinforcement Learning of Language Ag

已于 2025-04-19 17:33:38 修改
阅读量333 收藏 15
点赞数 11
分类专栏： 论文阅读 LLMs-安全 文章标签： 论文阅读
于 2025-04-18 18:49:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/147338732
版权

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

Learning Natural Language Constraints for Safe Reinforcement Learning of Language Agents

https://arxiv.org/pdf/2504.03185

https://www.doubao.com/chat/3262761026486530

速览

这篇论文是关于语言智能体安全强化学习的研究，提出了一个新框架来解决大语言模型在实际应用中的安全对齐问题。

  1. 研究背景：大语言模型（LLMs）被广泛用于高风险决策领域，但现有对齐训练方法存在不足。强化学习从人类反馈（RLHF）容易出现奖励过拟合、泛化性差等问题，难以保证模型在各种情况下都安全可靠。安全强化学习和逆强化学习（IRL）为解决这些问题提供了思路。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文阅读：LLM：Scaling Laws for Neural Language Models （上）
微风❤水墨
01-15 2360
当我们在与模型训练数据分布不同的文本上评估模型时，结果与在训练验证集上的结果有强烈的相关性，但损失的偏移约为常数 - 换句话说，转移到不同的分布会产生一个常数的惩罚，但除此之外，性能大致与在训练集上的性能一致。但是，如果我们只固定N、D中的一个，而增加另一个规模，就会出现回报递减的情况。在WebText2数据集上训练的模型，在其他各种数据集上的测试损失也是 N 的幂律，且幂律几乎相同，如上图所示。4：更大的模型显著地更具样本效率，因此，在相对较小的数据量上训练非常大的模型并在收敛之前显著地停止。
【论文笔记】MacBert：Revisiting Pre-trained Models for Chinese Natural Language Processing
iioSnail的博客
01-11 1851
作者提出了一个中文Bert，起名为MacBert。该模型采用的mask策略（作者提出的）是MLMasc作者用MacBert在8个NLP任务上进行了测试，大部分都能达到SOTA提出了新的MacBert模型，其缓和了pre-training阶段和fine-tuning阶段的gap。采用的方式是“mask字时，采用相似的字进行mask”
【人工智能】NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
热门推荐
中科院AI算法工程师的博客
09-04 3万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年10月11号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks i...
自动驾驶的深度强化学习：一项综述 Deep Reinforcement Learning for Autonomous Driving: A Survey
wq6qeg88的博客
01-11 1966
Abstract: 摘要： With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep re
多智能体深度强化学习：一项综述 Multi-agent deep reinforcement learning: a survey
wq6qeg88的博客
01-11 2515
强化学习的进步在各个领域都取得了巨大的成功。尽管在这一进展中，多智能体领域已被单智能体领域所掩盖，但多智能体强化学习获得了快速的牵引力，最新的成就解决了现实世界的复杂性问题。本文概述了多智能体深度强化学习领域的当前发展。我们主要关注近年来将深度强化学习方法与多智能体场景相结合的文献。为了调查构成当代景观的作品，主要内容分为三个部分。首先，我们分析了用于训练多个智能体的训练方案的结构。其次，我们考虑了合作、竞争和混合场景中代理行为的涌现模式。
论文阅读翻译之Reflexion - Language Agents with Verbal Reinforcement Learning
shizidushu的博客
07-16 1132
大型语言模型（LLMs）越来越多地被用作目标驱动的代理（agent）与外部环境（如游戏、编译器、API）进行交互。然而，这些语言代理（language agents）要通过试错（trial-and-error）快速高效地学习仍然具有挑战性，因为传统的强化学习方法需要大量的训练样本和昂贵的模型微调。我们提出了Reflexion，这是一种通过语言反馈（linguistic feeback）来强化语言代理（language agetns）的新框架，而不是通过更新权重来强化。
【大模型连续学习之ProgPrompt算法】2023年论文：Progressive Prompts Continual Learning for Language Models
BetterBench的博客
10-08 1433
本文介绍了一种名为“渐进提示”（Progressive Prompts）的方法，用于在不依赖数据回放或大量任务特定参数的情况下，通过为每个新任务学习一个软提示并将其与之前学习的提示串联起来，实现语言模型在连续学习中的正向迁移和抵抗灾难性遗忘。
深度强化学习+大模型综述Survey on Large Language Model-Enhanced Reinforcement Learning
xcs166357的博客
06-03 3660
对 LLM 增强 RL 中现有文献进行了全面的回顾，并总结了其与传统 RL 方法相比的特征，旨在阐明未来研究的研究范围和方向。信息处理器、奖励设计者、决策者和生成器。LLM-enhanced RL是指利用预先训练的知识固有AI模型的多模态信息处理、生成、推理等能力来辅助RL范式的方法。利用具有一般知识的模型，这意味着与其他数据驱动模型相比，该模型在学习过程中具有相当大的能力水平和更好的泛化。此外，LLM 增强的 RL 仍然使用 AI 模型，并且可以通过 RL 交互数据持续学习以提高其能力。
[论文阅读]Adversarial Semantic Collisions
m0_52911108的博客
04-29 1026
中，攻击者将冲突文本插入到输入文本中，使其被选为最相关的内容。第一种技术积极地生成冲突，而不考虑潜在的防御措施。然后开发了两种技术，
【论文阅读/复现】RT-DETR的网络结构/训练/推理/验证/导出模型
静谧、淡雅
04-29 1135
RT-DETR的网络结构/训练/推理/验证/导出模型
论文阅读 2024 arxiv Comprehensive Assessment of Jailbreak Attacks Against LLMs
CSPhD-winston的博客
04-30 828
这篇论文是关于大语言模型越狱攻击的全面评估，研究发现现有大语言模型都存在越狱风险，当前防御手段也无法完全抵御这些攻击。Figure 1：不同越狱攻击方法示例。Figure 2：测量过程概述。
论文笔记-基于多层感知器（MLP）的多变量桥式起重机自适应安全制动与距离预测
sagima_sdu的博客
04-29 648
IET Cyber-Systems and Robotics》出版山东大学团队的研究成果，文章题为“摘要桥式起重机的紧急制动及其制动距离预测是其安全运行中的关键难题。本文采用多层感知器（MLP）实现具有多种变量的桥式起重机自适应安全距离预测功能。首先，构建了桥式起重机的离散动力学模型，并在角度约束下引入模型预测控制（MPC）以保证安全制动；其次，分析并筛选了影响安全距离预测的输入变量，分别评估其对MLP预测精度的影响；然后，构建训练集和测试集，在训练集上对MLP模型进行了优化；
【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks
Glass_Gun的博客
04-30 1216
训练深度学习 （DL） 模型需要专有数据和计算密集型资源。为了收回训练成本，模型提供商可以通过机器学习即服务 （MLaaS） 将 DL 模型货币化。通常，该模型部署在云中，同时为付费查询提供可公开访问的应用程序编程接口 （API） 以获得好处。然而，模型窃取攻击对这种模型货币化计划构成了安全威胁，因为它们窃取了模型，而没有为未来的大量查询付费。具体来说，攻击者通过对目标模型进行查询，获取输入输出对，从而通过对替代模型进行逆向工程来推断模型的内部工作机制，从而剥夺了模型所有者的商业优势，泄露了模型的隐私。
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 1047
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
论文笔记（八十二）Transformers without Normalization
xzs1210652636的博客
04-30 1059
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
论文阅读：2024 ICML In-Context Unlearning: Language Models as Few-Shot Unlearners
CSPhD-winston的博客
04-30 845
这篇论文主要介绍了一种针对大语言模型（LLMs）的新型遗忘学习方法——上下文内遗忘（In-Context Unlearning，ICUL），旨在解决从模型中删除特定训练数据的问题。Figure 1：上下文内遗忘与标准遗忘的差异。Figure 2：上下文内遗忘的示例。
论文阅读笔记——TesserAct: Learning 4D Embodied World Models
最新发布
Multiple_x的博客
05-02 1086
TesserAct: Learning 4D Embodied World Models 论文阅读笔记
【论文阅读】Partial Retraining Substitute Model for Query-Limited Black-Box Attacks
Glass_Gun的博客
04-29 1026
针对深度神经网络（DNN）分类器的黑盒攻击正受到越来越多的关注，因为它们在现实世界中比白盒攻击更实用。在黑盒环境中，对手对目标模型的了解有限。这使得难以估计用于制作对抗示例的梯度，从而无法将强大的白盒算法直接应用于黑盒攻击。因此，。然后，对手使用替代模型而不是未知目标模型来制作对手示例。。然而，模拟目标模型通常需要进行大量查询，因为从一开始就训练新的DNN。在这项研究中，我们提出了一种新的替代模型训练方法，以。我们认为查询数量是实施实际黑盒攻击的重要因素，因为现实世界的系统通常出于安全和财务目的限制查询。
Sce2DriveX: 用于场景-到-驾驶学习的通用 MLLM 框架——论文阅读
qq_54556560的博客
04-29 709
Sce2DriveX利用来自局部场景视频和全局BEV地图的多模态联合学习，深入了解长距离时空关系和道路拓扑，增强其在3D动态/静态场景中的综合感知和推理能力，实现跨场景的驾驶泛化。在此基础上，它重建了人类驾驶固有的内隐认知链，涵盖场景理解、元动作推理、行为解释分析、运动规划和控制，从而进一步弥合了自动驾驶与人类思维过程之间的差距。：传统方法依赖刚性规则或小型模型，缺乏对驾驶过程的渐进式推理（Chain-of-Thought, CoT），导致决策逻辑不透明，难以与人类驾驶思维对齐。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值