![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM安全
文章平均质量分 93
大模型算法安全、大模型部署安全、大模型的攻击防御、大模型用于攻击防御检测
Xinyao Zheng
这个作者很懒,什么都没留下…
展开
-
【大模型推理】FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU
大型语言模型(LLMs)可能具有数十亿甚至数万亿的参数,这导致运行所需的计算和内存要求极高。例如,仅加载GPT-175B模型权重就需要325GB的GPU内存。要将这个模型适配到GPU上,至少需要五个A100(80GB)GPU和复杂的并行策略。因此,降低LLM推理的资源需求近年来引起了极大的关注。本文关注的是一种称为吞吐量导向的生成推理设置,它们通常需要对大量标记(例如,公司语料库中的所有文档)进行批处理的LLM推理,并且对延迟的敏感性较低。原创 2024-04-25 17:18:10 · 921 阅读 · 0 评论 -
【大模型训练】ZeRO-infinity: breaking the GPU memory wall for extreme scale deep learning
在过去的三年中,最大的密集深度学习模型已经增长了1000倍以上,达到数千亿个参数,而GPU内存仅增长了5倍(从16 GB到80 GB)。因此,模型规模的增长主要通过系统创新来支持,这些创新使得大型模型能够适应多个GPU的聚合内存。然而,我们正接近GPU内存的极限。仅仅为了适应一个拥有万亿个参数的模型的训练,就需要800个NVIDIA V100 GPU,而这样的集群对于大多数数据科学家来说是不可企及的。此外,以这样的规模训练模型需要复杂的并行技术组合,这给数据科学家重构模型带来了巨大负担。原创 2024-04-19 15:42:28 · 327 阅读 · 0 评论 -
【LLM安全】Privacy in Large Language Models: Attacks, Defenses and Future Directions(综述)
SMPC协议优化( SMPC Protocol Optimization,SPO )是指利用先进的SMPC协议,在保持原有模型结构的同时,提升LLMs隐私保护推理的效率。隐私攻击的基本理念是,借助更强大的可访问性,攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。例如,在仅有黑盒模型访问的情况下,敌手可能会进行训练数据提取攻击,以恢复少量的训练数据。然而,保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制,例如Softmax,GeLU,LayerNorm等,这些操作与SMPC不兼容。原创 2024-02-27 21:16:27 · 1775 阅读 · 0 评论 -
【LLM安全】Personal LLM Agents: Insights and Survey about the Capability, Efficiency and Security(综述)
确保Personal LLM Agents中用户数据隐私和服务安全的保护成为一个至关重要的问题。原创 2024-02-27 12:29:02 · 1131 阅读 · 0 评论 -
【TEE】可信执行环境保障大模型安全
当交换完成时,GPU 驱动程序和 SEC2 都持有相同的对称会话密钥。在大模型公有云服务方面,以百度、阿里等为代表的互联网与云服务公司,从大模型全生命周期视角出发,涵盖大模型训练、精调、推理、大模型部署、大模型运营等关键阶段面临的安全风险与业务挑战,在自有技术体系内进行深入布局,探索打造安全产品与服务。360等第三方独立的人工智能与安全科技公司,探索“以模型管理模型”方式,打造以大模型为核心的AI Agent(AI智能体),带入企业真实安全运营场景中,以“虚拟安全专家”的形象,满足企业对安全业务的需求。原创 2024-01-19 01:03:34 · 1760 阅读 · 0 评论 -
【安全】大模型安全综述
主要关注点在于安全应用程序领域,深入研究利用 LLM 发起网络攻击。原创 2024-02-22 23:19:17 · 1280 阅读 · 1 评论 -
【LLM安全】A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly
LLMs在代码安全和数据安全与隐私方面都做出了贡献。在代码安全的背景下,LLMs已经被用于代码(例如,安全编码、测试用例生成、脆弱代码检测、恶意代码检测、代码修复等)的整个生命周期。在数据安全和隐私方面,LLMs已被应用于确保数据完整性、数据机密性、数据可靠性和数据可追溯性。大多数研究人员发现基于LLM的方法优于传统最先进的方法。原创 2024-02-26 20:33:51 · 1251 阅读 · 0 评论