无一幸免！OpenAI最强竞对Anthropic：“长上下文”让大模型更不安全 长上下文窗口攻击

最新推荐文章于 2025-04-29 20:14:39 发布
最新推荐文章于 2025-04-29 20:14:39 发布
阅读量929 收藏 15
点赞数 9
分类专栏： # 大语言LLM评测 LLM大语言模型 文章标签： 人工智能 百度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/137343074
版权

无一幸免！OpenAI最强竞对Anthropic：“长上下文”让大模型更不安全

原创 学术头条 学术头条 2024-04-03 12:09 北京

图片

自 ChatGPT 问世以来，国内外越来越多的强大大模型陆续发布。其中一个让大模型能力增强的方法之一，便是增加大模型的上下文窗口。

如今，长上下文窗口却成为了大模型抵御外部攻击的“短板”，甚至成为遭受攻击的罪魁祸首。

今日凌晨，OpenAI 的最强竞争对手 Anthropic 在一篇最新发布的研究论文中，揭示了一种可以用来规避大型语言模型（LLM）开发者设置的安全防护措施的方法——Many-shot jailbreaking，即“多样本越狱攻击”。

简单来说，如果你先问 LLM 几十个危害性较小的问题，就可以说服它告诉你

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大语言模型（LLM）漏洞爆发，AI模型无一幸免
FreeBuf_的博客
04-22 1677
人工智能初创公司Anthropic所发现的这种技术被称为Many-shot Jailbreaking（多轮越狱），这种技术在Anthropic自己的模型以及其他人工智能公司生产的模型上都是有效的，其中包括OpenAI、Google DeepMind 等其他AI公司的模型，例如Claude 2.0、GPT-3.5 和 GPT-4 、Llama 2 (70B) 和 Mistral 7B 等。
多忽悠几次AI全招了！Anthropic警告：长上下文成越狱突破口，GPT羊驼Claude无一幸免
lqfarmer的博客
04-04 700
来源 | 量子位 ID | QbitAI大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现，随着窗口长度的不断增加，。无论是闭源的GPT-4和Claude 2，还是开源的Llama2和Mistral，都未能幸免。研究人员设计了一种名为多次样本越狱（Many-shot Jailbreaking，MSJ）的攻击方法，通过向大模型灌输大量包含不良行为的文本样本实现。
多忽悠几次AI全招了！Anthropic警告：长上下文成越狱突破口，GPT羊驼Claude无一幸免...
量子位
04-03 121
克雷西 发自 凹非寺量子位 | 公众号 QbitAI大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水——Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。无论是闭源的GPT-4和Claude 2，还是开源的Llama2和Mistral，都未能幸免。研究人员设计了一种名为多次样本越狱（Many-shot Jailbreaking...
51c大模型~合集99
whaosoft~aiotの开发板商城
12-31 1367
最成功的≠最复杂的高端的食材，往往需要最朴素的烹饪方式。AI 发展到后半场「大雾散去」，如何让大模型的智力落实成执行力，智能体似乎成了业界的共同答案。从元宝到混元，各类智能体平台如雨后春笋般涌现。上个月，智谱发布 AutoGLM 的发布会上，智能体好像突破了次元壁，一句指令，就拿着手机在现场发了一个总计两万块钱的红包。我们正在见证一个重要的转折点：智能体正在将 AI 的能力从「能说会道」转变为「能做会干」。作为最强大模型厂商的有力竞争者，Anthropic 推出的智能体功能也着实惊艳了我们一把。
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1025
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2801
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
人工智能(AI)对网络管理的影响
ITmoster的博客
04-25 1367
AI正从工具演变为网络管理的“核心大脑”，其价值不仅在于效率提升，更在于为复杂问题提供系统性解决方案。
花费7元训练自己的GPT 2模型
04-28 892
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
计算机视觉各类任务评价指标详解
qq_47898999的博客
04-25 1233
计算机视觉各类任务评价指标详解
tokenizer的用法
大多_C的博客
04-25 793
可以基于现有 tokenizer 进行修改，如添加自定义的 token（tokenizer.add_tokens([“新词”])），从而扩展词汇表，此时可调用 tokenizer.resize_token_embeddings(model) 更新模型嵌入层。]}，有时还会包含其他信息比如 “token_type_ids”、“offset_mapping”（用于对齐）等。• return_tensors: 指定返回类型，如 “pt”（PyTorch tensor）、“tf” 或 “np”（NumPy 数组）
GroundVLP论文精读
记录知识，分享知识
04-27 692
视觉定位是一项关键的视觉-语言任务，要求模型根据查询捕捉视觉上下文中的对象及其空间和属性信息。然而，由于视觉接地任务的标注数据受限于耗时且劳动密集的标注过程，导致训练模型的泛化能力受限，难以应对更广泛的领域。为解决这一挑战，我们提出了 GroundVLP，一种简单但有效的零样本方法，利用从图像-文本对和纯对象检测数据中获取的视觉接地能力，这两者相比视觉接地标注数据更易获取且覆盖更广的领域。GroundVLP 提出了一种融合机制，结合 GradCAM 的热图和开放词汇检测器的对象提议。
AI 工程师崛起：科技浪潮下的新兴力量
2401_86652632的博客
04-25 1099
在当今科技迅猛发展的时代，人工智能（AI）无疑是最热门的领域之一。随着基础模型的涌现和开源 / API 的普及，一种新兴的职业 ——AI 工程师，正逐渐崭露头角。他们在 AI 技术的应用和开发中扮演着关键角色，其崛起背后有着诸多深刻的原因，并且正在重塑整个科技行业的格局。今天，就让我们深入探究 AI 工程师这一职业的发展脉络。
LabVIEW圆锥滚子视觉检测系统
bjcyck的博客
04-24 655
软件方面，采用LabVIEW和Vision Development Module进行图像处理和分析，软件架构设计以模块化为原则，便于后续的维护和升级。通过高效的硬件选型和优化的软件算法，系统能够快速准确地完成图像的采集、处理和分析。本视觉检测系统不仅提高了生产效率，还通过自动化检测显著提升了产品的一致性和质量。未来，该系统还可以根据具体的生产需求进行调整和优化，以适应更多的生产环境。通过集成高分辨率摄像头和先进的图像处理算法，系统能够自动识别和分类产品缺陷，从而减少人工检查需求，提高检测的准确性和速度。
RoPE 相对位置编码 VS 传统位置编码
最新发布
ningyanggege的博客
04-29 699
我们先来想象一个场景：“我 爱 吃 苹果”你知道“我”是主语，“爱”是动词，“苹果”是宾语。为什么你能明白这些词之间的关系？因为你知道它们的顺序和位置！但对计算机来说，一开始它只知道这些词是哪些，并不知道它们在第几个位置这时候，我们就需要给每个词加上一个“位置说明书”——这就是位置编码！
多模态大语言模型arxiv论文略读（四十二）
Jamence的博客
04-26 1135
多模态大语言模型arxiv论文略读（四十一）➡️ 研究动机：为了提高模型在处理复杂布局文档和需要推理的问题时的性能，研究团队提出了一种基于数据增强和扩展的方法，通过多模态大语言模型（MLLMs）生成分步骤的问题-答案对，并使用高性能的语言模型作为错误检测器来过滤噪声数据。➡️ 问题背景：当前的多模态大语言模型（Multi-modal Large Language Models, MLLMs）在多种视觉-语言任务中展现了卓越的能力，但这些模型主要关注于理解图像的整体视觉信息，而忽略了图像中对象之间的关系。
AI Agent: MCP和AI Agent的联系
u011732210的博客
04-26 1012
MCP 协议重新定义了 AI 与物理世界的交互方式，通过标准化接口、双向通信和上下文感知能力，使 AI Agent 从 “孤立的智能体” 进化为 “可协作的生态节点”。随着 MCP 生态的成熟，AI 应用将实现 “一句话连接万物” 的愿景，推动智能体互联网（AgentNet）的诞生。开发者可通过 MCP 协议快速构建跨平台、跨领域的智能应用，而企业则能利用 MCP 实现流程自动化、数据资产化和决策智能化的深度转型。
嵌入式多功能浏览器系统设计详解
huayidw的博客
04-28 708
在学习了伟东山的完整嵌入式相机流程之后，将文本阅读器和人脸识别内容添加进去。这是完成后的整体框架，代码会开源在gitee。
特征工程四-2：使用GridSearchCV 进行超参数网格搜索（Hyperparameter Tuning）的用途
qq_37713191的博客
04-29 304
多数情况下，超参数的选择是无限的，因此在有限的时间内，除了可以验证人工预设的几种超参数组合外，也可以通过启发式的搜索方法对组合进行调优，这种超参数搜素的方法称为 网格搜索。
用Python做有趣的AI项目4：AI 表情识别助手
roc_ever的博客
04-27 295
本项目将使用 计算机视觉 + CNN 模型来识别人脸表情，例如：开心 😊 | 生气 😠 | 悲伤 😢 | 惊讶 😲 | 厌恶 😒 | 害怕 😱 | 中性 😐。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值