OpenAI最新研究——利用指令层次结构应对LLM攻击

最新推荐文章于 2025-04-09 19:00:00 发布
最新推荐文章于 2025-04-09 19:00:00 发布
阅读量1.4k 收藏 11
点赞数 27
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27590277/article/details/138262967
版权
研究人员提出一种指令层次结构，通过定义不同指令优先级来增强LLM的安全性，减少prompt攻击风险。实验显示，这种方法显著提高了模型鲁棒性，且在应对未知攻击时具有泛化性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ec7729880cbb3802b24efbcd8d2f37c4.png

深度学习自然语言处理 原创
作者：无穷小敏

今天要给大家介绍一篇OpenAI的在今年4月19日发表的一篇研究，该研究提出了一种指令层次结构（instruction hierarchy），以减少LLM被攻击的风险，提高模型的鲁棒性。

可能有些小伙伴平时更关注大模型的性能，但是大模型安全在工业界，特别是AI模型落地时，是非常重要的一个考量。例如之前很火的prompt攻击方式“奶奶漏洞”，通过让GPT扮演奶奶睡前讲故事，可以套路GPT，让他说出某些正版软件的密钥😂😂。很显然这会给LLM公司带来法律风险。虽然这种直接注入漏洞已经被修复了，但是现在LLM结合工具/Agent之后，会有更多间接注入攻击让我们的LLM没有按照希望的方式去工作。

为了解决这个问题，这篇研究提出了一种指令层次结构（instruction hierarchy）。它明确定义了不同指令的优先级，以及当不同优先级的指令发生冲突时，LLM应该如何表现。通过这种方式，LLM会区别开系统指令和来自不受信任用户的指令之间的优先级，而不是像之前一样对所有的prompt都一视同仁。再根据优先级冲突时制定的策略以规范LLM的表现，从而减少LLM被攻击的风险。

这篇研究还提出了一种自动数据生成方法，来演示这种层次指令的跟踪行为，从而教会LLM有选择地忽略权限较低的指令。实验表明在几乎不影响LLM的标准能力的情况下，极大地提高了模型的鲁棒性。特别是即使在对训练期间从未见过的攻击类型也是如此！说明这种方法在应对未知的攻击时也是有一定的泛化性的。

接下来让

最低0.47元/天 解锁文章
zenRRan
关注
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
c_cpp_csharp的专栏
04-30 229
如今的LLM容易受到提示注入、越狱和其他攻击的影响，这些攻击允许对手用自己的恶意提示覆盖模型的原始指令。在这项工作中，我们认为这些攻击背后的主要漏洞之一是LLM通常认为系统提示（例如，来自应用程序开发人员的文本）与来自不受信任的用户和第三方的文本具有相同的优先级。为了解决这个问题，我们提出了一个指令层次结构，它明确定义了当不同优先级的指令发生冲突时，模型应该如何表现。然后，我们提出了一种自动数据生成方法来演示这种分层指令跟随行为，该方法教导LLM选择性地忽略低特权指令。
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代
AI天才研究院
06-29 1447
软件1.0 vs 软件2.0 - **软件1.0**：传统的软件开发方法，通过人工编写明确的**程序逻辑和规则**来实现功能。 - **软件2.0**：利用AI和机器学习技术，通过**训练模型来"学习"如何执行任务，而不是显式编程**。在这种范式下，软件的行为更多地**由数据和学习算法决定，而不是固定的规则。**
AI的自我进化框架：大型语言模型如何不断提升智能水平？
AI_Conf的博客
04-26 1082
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
指令层级：训练大型语言模型优先处理特权指令
小哲的博客
04-09 762
这篇论文提出了一种新的框架，即指令层级，用于提高 LLMs 的安全性和鲁棒性，同时保持其遵循正常指令的基本能力不受损害。并且通过实验验证了他们的方法比当今LLM的现状有了巨大的进步。OpenAI 的研究者将基于 LLM 的产品使用总结分为三种情形应用的构建者：定义了LLM 应用的底层指令和逻辑产品的用户：LLM 产品的实际使用者第三方输入：工具或接口返回的内容，作为 LLM 的输入而攻击的底层逻辑往往是在以上三方之间引入冲突（conflicts），比如产品用户输入的指令要求覆盖应用构建者的原始指令。
翻译: LLM是如何遵循指示的：指示调整和人类反馈增强学习RLHF How LLMs follow instructions: Instruction tuning and RLHF
AI架构师易筋
12-15 1006
我们已经知道大型语言模型（LLM）是通过在互联网上学习大量文本来预测下一个单词的。但当你向LLM发出指令时，它不仅仅是预测下一个单词，而是会跟随你的指示。这是如何做到的呢？在这个视频中，我们将讨论名为“指令调整”的技术，它使LLM能够这样做。我们还将讨论一种名为RLHF（从人类反馈中学习的强化学习）的技术，这对于使LLM的输出更安全起到了重要作用。这些技术是如何工作的呢？我们讨论了LLM是如何在大量类似“我最喜欢的食物是奶油芝士百吉饼”的文本上进行预训练的。
OpenAI的真正对手？DeepSeek-R1如何用强化学习重构LLM能力边界——DeepSeek-R1论文精读
zag666的博客
01-27 3043
2025年1月20日，DeepSeek-R1 发布，并同步**开源**模型权重。截至目前，DeepSeek 发布的 iOS 应用甚至超越了 ChatGPT 的官方应用，直接登顶 AppStore。DeepSeek-R1 一经发布，各种资讯已经铺天盖地，那就让我们一起来精读一下论文，看看引爆AI圈的 DeepSeek-R1 是如何炼成的？
OpenAI API - Agent
AI工程化、开源分享、文档翻译、代码笔记
03-29 642
代理 概述 模型 工具 知识与记忆 防护栏 编排 入门 语音代理 选择正确的架构 语音到语音（多模态）架构 链式架构 构建语音代理 使用语音到语音架构进行实时处理 将音频输入链接到文本处理 → 音频输出
Datawhale AI 夏令营——CPU部署大模型(LLM天池挑战赛)——Task2与3学习笔记
m0_63566347的博客
07-18 2232
Task2 的任务是组队 + 寻找灵感，这里不作阐述；Task3 的任务是实现 RAG 应用，阅读文档并观看卢哥的直播后，结合个人经验做个分享。运行大语言模型，对 LLM 使用的加深，我们发现，在使用过程中，大模型会有很多幻觉出现。为了解决幻觉，科研人员提出了各种各样的方案，努力提高长上下文下的召回精度，但就成本与效果而言，在目前都不如简单粗暴的检索增强生成（RAG）。
AI安全初探——利用深度学习检测DNS隐蔽通道
AAI666666的博客
01-02 1803
DNS 通道是隐蔽通道的一种，通过将其他协议封装在DNS协议中进行数据传输。由于大部分防火墙和入侵检测设备很少会过滤DNS流量，这就给DNS作为隐蔽通道提供了条件，从而可以利用它实现诸如远程控制、文件传输等操作，DNS隐蔽通道也经常在僵尸网络和APT攻击中扮演着重要的角色。
使用LangChain的生成式AI——LangChain 用于LLMs应用
m0_63171455的博客
07-28 2035
将LLM与其他工具结合起来，使用专门的工具，LLM驱动的应用有潜力改变我们的数字世界。通常，这是通过对LLM进行一个或多个提示的链式调用完成的，但也可以利用其他外部服务（如API或数据源）来执行任务。传统的软件应用通常遵循多层架构：客户层处理用户交互。前端层处理呈现和业务逻辑。后端层处理逻辑、API、计算等。最后，数据库存储和检索数据。相比之下，LLM应用是一种利用LLM理解自然语言提示并生成响应文本输出的应用程序。客户层，用于收集用户输入，如文本查询或决策。提示工程层，用于构建引导LLM的提示。
从LLM出发：由浅入深探索AI开发的全流程与简单实践（全文3w字）
码事漫谈
03-17 3291
性能指标：定义评估AI模型性能的关键指标，例如准确率、召回率、F1分数、响应时间等。验收标准：设定模型必须达到的最低性能标准，以确保项目成功。LLM作为现代AI开发的重要工具，通过预训练和微调技术，显著降低了AI开发的门槛，提高了开发效率。LLM在数据处理、特征提取、模型构建、应用部署等环节中都发挥了重要作用，为开发者提供了强大的支持。然而，LLM的开发也面临诸多挑战，如计算资源需求、数据偏见、模型可控性等。未来，随着技术的不断进步，LLM将继续优化，为AI开发带来更多的可能性。
【AI写作】怎样使用AI写作每天赚钱？——文本生成的艺术《AI写作的未来》使用 AI 写作和每天产生被动收入的终极指南
AI天才研究院
12-25 241
在当今数字时代，内容创作已成为一种极具潜力的赚钱方式。随着人工智能技术的飞速发展，AI写作工具的出现为内容创作者提供了前所未有的机遇。这些工具不仅能够提高写作效率，还能帮助创作者生产高质量、多样化的内容，从而实现每天稳定的被动收入。本文将深入探讨如何利用AI写作工具来创造持续的收入流，为读者提供一个全面的指南。AI写作工具主要基于自然语言处理（NLP）和机器学习技术。文本生成：使用深度学习模型（如GPT系列）生成连贯、流畅的文本。语义理解：分析输入的提示或主题，理解上下文和意图。
LLM漫谈（八）| OpenAI 12天直播集锦
wshzd的博客
12-26 1092
🛠️ ChatGPT Canvas 是 OpenAI 在今年10月推出的基于 ChatGPT 的全新功能，经过数月的测试，现已正式上线。🎊🔖 OpenAI 官方将 Canvas 定义为 "A new way of working with ChatGPT to write and code"，意在通过这一功能提升写作与编程的效率。Canvas 名字源于英文“画布”的含义，它为用户提供了一个独立的可视化工作区，突破了传统聊天框的交互限制。🎨。
scratch少儿编程逻辑思维游戏源码-银河二号.zip
05-06
scratch少儿编程逻辑思维游戏源码-银河二号.zip
实训商业源码-GAJ内网大数据图表界面源码-毕业设计.zip
05-06
实训商业源码-GAJ内网大数据图表界面源码-毕业设计.zip
实训商业源码-传媒摄影-毕业设计.zip
最新发布
05-06
实训商业源码-传媒摄影-毕业设计.zip
少儿编程scratch项目源代码文件案例素材-足球冠军.zip
05-06
少儿编程scratch项目源代码文件案例素材-足球冠军.zip
scratch少儿编程逻辑思维游戏源码-足球物理学.zip
05-06
scratch少儿编程逻辑思维游戏源码-足球物理学.zip
scratch少儿编程逻辑思维游戏源码-陷阱游戏.zip
05-06
scratch少儿编程逻辑思维游戏源码-陷阱游戏.zip
python openai llm
03-31
### 如何在 Python 中使用 OpenAI 的 LLM 要在 Python 中使用 OpenAI 的大型语言模型 (LLM)，可以通过安装 `openai` 库并与 API 进行交互实现。以下是具体方法： #### 安装依赖库 首先，需要确保已安装必要的 Python 库。可以使用以下命令安装所需的包： ```bash pip install openai langchain ``` #### 配置 OpenAI API 密钥 为了调用 OpenAI 的服务，需设置环境变量或直接在代码中提供 API 密钥。推荐的方式是通过环境变量配置密钥以提高安全性。 ```python import os os.environ["OPENAI_API_KEY"] = "your-api-key-here" ``` 或者，在脚本开头导入并初始化 OpenAI 模块时传递密钥： ```python from openai import OpenAI client = OpenAI(api_key="your-api-key-here") ``` #### 调用 OpenAI 大型语言模型 下面是一个简单的例子，展示如何利用 GPT-3 或其他支持的模型生成文本响应[^4]。 ```python from openai import OpenAI def generate_text(prompt, model_name='gpt-3.5-turbo'): client = OpenAI() response = client.chat.completions.create( model=model_name, messages=[ {"role": "user", "content": prompt}, {"role": "assistant", "content": ""} ] ) return response.choices[0].message.content.strip() prompt = "Alice has a parrot. What animal is Alice's pet?" generated_response = generate_text(prompt) print(generated_response) ``` 上述代码片段展示了如何发送提示给指定的大规模预训练语言模型，并获取其返回的回答。这里选择了较新的聊天接口版本 `chat.completions.create()` 方法作为示范。 对于更复杂的场景，比如结合本地文档处理流程，则可能涉及多个阶段的工作流设计。例如先解析 PDF 文件内容再转化为向量形式存入索引数据库以便后续检索操作等步骤[^2][^3]。 最后值得注意的是实际部署过程中还需要考虑性能优化以及成本控制等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值