Web LLM
文章平均质量分 95
许多 Web LLM 攻击依赖于一种称为提示注入的技术。这是攻击者使用精心设计的提示来操纵 LLM 输出的地方。及时注入可能会导致 AI 采取超出其预期目的的操作,例如对敏感 API 进行错误调用或返回不符合其准则的内容
Suc2es2
悟空漏洞练习平台作者,HCIA-Datacom 认证,HCIA-openEuler 认证,HarmonyOS 应用开发者高级认证,NISP 一级认证,阿里云社区专家博主认证,“复兴杯”2023第四届大学生网络安全精英赛全国复赛湖北省一等奖
展开
-
Web LLM 攻击实验:利用 LLM 中不安全的输出处理
Web LLM 攻击各组织都在急于集成大型语言模型 (LLM),以改善其在线客户体验。这使他们面临 Web LLM 攻击,这些攻击利用模型对攻击者无法直接访问的数据、API 或用户信息的访问权限。检索 LLM 有权访问的数据。此类数据的常见来源包括 LLM 的提示、训练集以及提供给模型的 API。通过 API 触发有害操作。例如,攻击者可以使用 LLM 对其有权访问的 API 执行 SQL 注入触发对查询 LLM 的其他用户和系统的攻击。原创 2024-05-11 12:07:20 · 1545 阅读 · 2 评论 -
Web LLM 攻击实验:间接注入
大型语言模型 (LLM) 是一种人工智能算法,可以处理用户输入并通过预测单词序列来创建合理的响应。他们接受了巨大的半公开数据集的训练,使用机器学习来分析语言的各个组成部分如何组合在一起。LLM 通常会提供一个聊天界面来接受用户输入,称为提示。允许的输入部分由输入验证规则控制。客户服务,例如虚拟助理。翻译。搜索引擎优化改进。分析用户生成的内容,例如跟踪页面评论的语气。LLM 攻击和提示注入许多 Web LLM 攻击依赖于一种称为提示注入的技术。原创 2024-05-11 12:07:34 · 1319 阅读 · 2 评论 -
Gandalf AI 通关详解(大模型安全)
大型语言模型 (LLM) 是一种人工智能算法,可以处理用户输入并通过预测单词序列来创建合理的响应。他们接受了巨大的半公开数据集的训练,使用机器学习来分析语言的各个组成部分如何组合在一起。LLM 通常会提供一个聊天界面来接受用户输入,称为提示。允许的输入部分由输入验证规则控制。客户服务,例如虚拟助理。翻译。搜索引擎优化改进。分析用户生成的内容,例如跟踪页面评论的语气。LLM 攻击和提示注入许多 Web LLM 攻击依赖于一种称为提示注入的技术。原创 2024-05-09 13:51:07 · 2526 阅读 · 3 评论 -
Web LLM 攻击实验:利用 LLM API 实现命令注入
大型语言模型 (LLM) 是一种人工智能算法,可以处理用户输入并通过预测单词序列来创建合理的响应。他们接受了巨大的半公开数据集的训练,使用机器学习来分析语言的各个组成部分如何组合在一起。LLM 通常会提供一个聊天界面来接受用户输入,称为提示。允许的输入部分由输入验证规则控制。客户服务,例如虚拟助理。翻译。搜索引擎优化改进。分析用户生成的内容,例如跟踪页面评论的语气。LLM 攻击和提示注入许多 Web LLM 攻击依赖于一种称为提示注入的技术。原创 2024-05-10 12:10:00 · 1429 阅读 · 2 评论 -
Web LLM 攻击实验:利用 LLM API 实现 SQL 注入
Web LLM 攻击各组织都在急于集成大型语言模型 (LLM),以改善其在线客户体验。这使他们面临 Web LLM 攻击,这些攻击利用模型对攻击者无法直接访问的数据、API 或用户信息的访问权限。检索 LLM 有权访问的数据。此类数据的常见来源包括 LLM 的提示、训练集以及提供给模型的 API。通过 API 触发有害操作。例如,攻击者可以使用 LLM对其有权访问的 API 执行 SQL 注入触发对查询 LLM 的其他用户和系统的攻击。原创 2024-05-09 13:51:24 · 2156 阅读 · 2 评论