PromptBench:大型语言模型的对抗性基准测试

最新推荐文章于 2025-05-03 09:07:35 发布
最新推荐文章于 2025-05-03 09:07:35 发布
阅读量1.7k 收藏 2
点赞数
文章标签： 语言模型 人工智能 自然语言处理 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deephub/article/details/131342355
版权
PromptBench是微软设计的用于评估大型语言模型对抗性提示鲁棒性的基准，揭示了LLM易受攻击的问题，强调了模型可靠性和健壮性的重要性。研究提供缓解建议，并开源相关代码供进一步研究。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PromptBench是微软研究人员设计的一个用于测量大型语言模型(llm)对对抗性提示鲁棒性的基准测试。这个的工具是理解LLM的重要一步，随着这些模型在各种应用中越来越普遍，这个主题也变得越来越重要。

研究及其方法论

PromptBench采用多种对抗性文本攻击，研究人员生成了4000多个对抗性提示，然后通过8个任务和13个数据集对其进行评估。这种全面的方法确保了潜在漏洞的广泛覆盖，并提供了对LLM性能的可靠评估。

研究结果及影响

这项研究的结果表明，当代LLM很容易受到对抗性提示的影响。这个漏洞是一个需要解决的关键问题，以确保llm在实际应用程序中的可靠性和健壮性。作为数据科学家，我们必须意识到这些漏洞，并努力开发能够抵御此类对抗性攻击的模型。

论文还提供了快速减轻这些漏洞的建议。这些建议对于任何使用大模型的人来说都是非常宝贵的，并且可以指导开发更健壮的模型。

开源代码

研究人员已经公开了研究中使用的代码、提示和方法。我们必须继续调查，在它们研究的基础上进行更深入的研究，共同努力推进模型的改进，已经包括的模型如下：

  • google/flan-t5-large
  • databricks/dolly-v1–6b
  • llama-13b
  • vicuna-13
  • cerebras/Cerebras-GPT-13B
  • EleutherAI/gpt-neox-20b
  • google/flan-ul2
  • chatgpt

论文和研究地址：

https://avoid.overfit.cn/post/48766e3c21a8495bb991b0135912ce8e

作者：Praveen Govindaraj

deephub
关注
PromptBench: A Unified Library for Evaluation of Large Language Models
c_cpp_csharp的专栏
01-23 1045
大型语言模型（LLM）的评估对于评估其性能和降低潜在的安全风险至关重要。在本文中，我们介绍了PromptBench，一个用于评估LLM的统一库。它由几个研究人员可以轻松使用和扩展的关键组件组成：提示构建、提示工程、数据集和模型加载、对抗性提示攻击、动态评估协议和分析工具。PromptBench被设计为一个开放、通用和灵活的代码库，用于研究目的。它旨在促进在创建新的基准、部署下游应用程序和设计新的评估协议方面的原始研究。并将得到持续支持。
LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 4950
​ LLMs：LLMs大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理/问题解决/对和聊天/情感分析】)，大模型排行榜多种)，两类基准——通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【SuperGLUE/MMLU/BIG-bench/HELM/AGIEval/C-EVAL/Xiezhi】、基于工具【API
大语言模型的评估：综述
yorkhunter的博客
05-23 1636
23年8月来自吉林大学、微软、中科院自动化所、CMU、西湖大学、北大、UIC和香港科技大学等的综述论文“A Survey on Evaluation of Large Language Models“。
大模型常用评测基准汇总
Antai_ZHU的博客
07-24 2447
在评测集维度，OpenAI和Google会直接使用Chatbot Arena的结果，在对大模型进行评估时，较为简单、高效、易操作的方式是关注Chatbot Arena的leaderboard。从榜单上可以看出中文大模型的效果还是差于国外大模型，这种落后不能单一归结为某一个原因，我们需要认识到在算力、算法、数据中的各种不足。征途漫漫，惟有奋斗。
全面盘点：大模型常用评测基准大全，全网最详尽版本，CSDN独家福利随文附赠！
2401_85375186的博客
08-15 1452
在评测集维度，OpenAI和Google会直接使用Chatbot Arena的结果，在对大模型进行评估时，较为简单、高效、易操作的方式是关注Chatbot Arena的leaderboard。目前所有大模型综合排行榜目前中文大模型排行榜SuperCLUE琅琊版6月排名在评估中文大模型的能力时SuperCLUE会作为重要指标，从榜单上可以看出中文大模型的效果还是差于国外大模型，这种落后不能单一归结为某一个原因，我们需要认识到在算力、算法、数据中的各种不足。征途漫漫，惟有奋斗。
大型语言模型（LLM）和多模态大型语言模型（MLLM）的越狱攻击
声纹感知 洞察芯声
06-24 1679
随着大型语言模型（LLMs）的快速发展，它们在各种任务上表现出了卓越的性能，有效地遵循指令以满足多样化的用户需求。然而，随着这些模型遵循指令的能力不断提升，它们也越来越成为对抗性攻击的目标，这显著挑战了它们的完整性和可靠性。这种新兴的脆弱性激发了对攻击策略和强大防御的广泛研究，以更好地保护道德限制并改进LLMs。在这些漏洞中，越狱攻击尤为普遍，恶意指令或训练和解码干预可以绕过LLMs内置的安全措施，导致它们表现出不良行为。
大模型数据集全面整理:444个数据集下载地址
u011559552的博客
02-10 1591
2024-02-28，由杨刘、曹家欢、刘崇宇、丁凯、金连文等作者编写，深入探讨了大型语言模型数据集，这些数据集在大语言模型中取得的显著进步中发挥着至关重要的作用。 调查从五个方面对LLM的 444个 数据集进行了整理和分类。
【模型测试】大模型测评体系的构成
Deadwalk的专栏
04-14 706
随着近期DeepsSeek大模型在AI领域的快速崛起，人工智能技术正在快速进化，在这场智能革命的浪潮中，一个关键命题愈发凸显：当大模型能力不断进化时，我们该如何建立与之匹配的评估体系。本文将以多篇论文内容作为基础，探讨大模型评价体系的重要性(Why)、评价什么(What)、在哪儿评价(Where)、如何评价(How)。
翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on
CSPhD-winston的博客
08-12 830
对大型语言模型（LLMs）的日益依赖要求我们全面了解它们对提示的鲁棒性。在本文中，我们介绍了PromptRobust，一个旨在衡量LLMs对对抗性提示的弹性的鲁棒性基准测试。本研究使用了大量对抗性文本攻击，这些攻击针对提示的多个层面：字符、单词、句子和语义。这些对抗性提示被设计成模仿合理的用户错误，如错别字或同义词，旨在评估微小的偏差如何影响LLM的结果，同时保持语义完整性。然后，这些提示被用于各种任务，包括情感分析、自然语言推理、阅读理解、机器翻译和数学。
Microsoft的PromptBench可以做啥？
mashutian的博客
02-22 2005
1. 快速模型性能评估：可以快速构建模型、加载数据集和评估模型性能。2. 快速工程：多种快速工程方法，例如：Few-shot Chain-of-Thought、情绪提示、专家提示等。3. 评估对抗性提示：集成了提示攻击，使研究人员能够模拟对模型的黑盒对抗性提示攻击并评估其鲁棒性。4. 动态评估：以减轻潜在的测试数据污染：集成了动态评估框架 DyVal ，动态生成具有受控复杂性的评估样本。
自然语言处理实战：用CRF打造高精度命名实体识别系统
最新发布
Loving_enjoy的博客
05-03 417
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1763
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 439
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 3462
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
花费7元训练自己的GPT 2模型
04-28 1335
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 1020
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
生产级RAG系统一些经验总结
yanqianglifei的专栏
05-01 626
可能需要修剪或总结它们。一种常见方法是先检索，然后运行较小的语言模型或启发式算法，将每个检索到的文档总结为一段话，然后将这些摘要输入最终的语言模型。这有时被称为上下文压缩或自适应上下文。LlamaIndex等工具可以自动执行第二阶段，使用语言模型在最终答案之前将初始检索集压缩成更短的形式。仅在绝对需要时使用此方法，因为任何摘要都是额外的生成步骤，可能会引入自己的错误。随着2025年16k+标记模型的出现，如果适合，许多RAG系统尝试只提供原始文本，因为这保留了最大的细节。
LabVIEW圆锥滚子视觉检测系统
bjcyck的博客
04-24 840
软件方面，采用LabVIEW和Vision Development Module进行图像处理和分析，软件架构设计以模块化为原则，便于后续的维护和升级。通过高效的硬件选型和优化的软件算法，系统能够快速准确地完成图像的采集、处理和分析。本视觉检测系统不仅提高了生产效率，还通过自动化检测显著提升了产品的一致性和质量。未来，该系统还可以根据具体的生产需求进行调整和优化，以适应更多的生产环境。通过集成高分辨率摄像头和先进的图像处理算法，系统能够自动识别和分类产品缺陷，从而减少人工检查需求，提高检测的准确性和速度。
ModuleNotFoundError: No module named 'promptbench'
07-15
ModuleNotFoundError: No module named 'promptbench' 是Python中常见的错误提示，它表示你在尝试运行某个程序或导入某个模块时，找不到名为 'promptbench' 的模块。这通常意味着： 1. 你可能忘记了安装这个模块。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值