首个3DGS重大安全漏洞研究！Poison-splat有什么黑科技？

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『三维重建』技术交流群

编辑 | 自动驾驶之心

首个研究如何攻击3DGS计算复杂性的工作

3DGS由Kerbl等人在2023年提出，迅速改变了3D视觉领域，获得了压倒性的欢迎。与NeRF不同，3DGS并非由神经网络驱动，而是通过学习一组3D高斯来捕捉场景，并使用光栅化同时渲染多个对象。这使得3DGS在渲染速度、照片逼真度和可解释性方面具有显著优势，成为该领域的游戏规则改变者。

高斯点云的一个有趣特性是其模型复杂度的灵活性。不同于NeRF或其他基于神经网络的算法，这些算法的计算复杂性通常由网络超参数预先确定并保持固定，3DGS可以根据输入数据动态调整其复杂性。在3DGS的训练过程中，可学习参数的数量，即3D高斯的数量，随着场景复杂度的变化而动态调整。具体来说，3DGS算法采用自适应密度控制策略，通过增加或减少高斯数量来优化重建，从而导致GPU内存占用和训练时间成本的可变性。

该设计的灵活性旨在为训练提供优势。然而，这种灵活性也可能成为一个漏洞。在本文中，我们揭示了一个严重且未被注意到的攻击向量：3DGS复杂性的灵活性可能被滥用，从而过度消耗计算资源（如GPU内存），并显著拖慢高斯点云系统的训练速度，将训练过程推向其最糟糕的计算复杂性。

本文介绍Poison-splat[1]是计算成本攻击方法，作为这种新型攻击向量的概念验证。Poison-splat以训练数据污染的形式出现（Tian等人，2022年），攻击者通过操纵输入数据来攻击受害者的3DGS系统。这在现实世界中具有实际操作性，因为像Kiri (KIRI)、Polycam (Polycam) 和Spline (Spline) 这样的商业3D服务提供商接收来自用户上传的图像或视频以生成3D捕获。攻击者可以伪装成普通用户提交污染数据，隐秘地发起攻击，甚至可以秘密篡改其他用户上传的数据。在高峰使用期，这种攻击会与合法用户争夺计算资源，降低服务响应速度，可能导致严重的后果，如服务崩溃，进而导致服务提供商的财务损失。

Poison-splat攻击被建模为一个最大最小问题。内部优化是3D高斯点云的学习过程，即在给定输入图像和相机姿态的情况下，最小化重建损失，而外部优化问题则是最大化解决内部问题的计算成本。

• 虽然准确解决这个双层优化问题往往是不可行的，但我们发现攻击者可以使用代理模型来近似内部最小化过程，并专注于优化外部最大化目标。

• 此外，我们观察到内存消耗和渲染延迟与训练中3D高斯数量呈现出显著的正相关关系。因此，攻击者可以在代理模型训练中使用高斯数量作为外部优化中的计算成本指标。

基于这些见解，Poison-splat攻击采用图像总变分损失作为先验来引导3D高斯的过度密集化，并能够以较低的成本近似解决这一双层优化问题。

主要贡献可概括为：

• 揭示了3DGS模型复杂性的灵活性可以成为一个安全后门，使其容易受到计算成本攻击。这一漏洞在3D视觉和机器学习社区中基本上被忽视了。该研究表明，这类攻击是可行的，可能给3D服务提供商带来严重的财务损失。

• 将对3D高斯点云的攻击建模为数据污染攻击问题。据我们所知，之前没有任何工作研究如何通过污染训练数据来增加机器学习系统的计算成本。

• 提出了一种新的攻击算法，名为Poison-splat，它显著增加了GPU内存消耗并减缓了3DGS的训练过程。我们希望社区能够认识到这一漏洞，并开发更为健壮的3D高斯点云算法或防御方法，以减轻此类攻击的影响。

资源针对型攻击

在计算机安全领域，一个类似的概念是拒绝服务攻击（DoS攻击）。DoS攻击的目标是通过过度消耗系统资源或网络来使其无法为合法用户提供服务。常见的方法包括通过大量请求使系统负载过高，或通过恶意输入触发系统崩溃。这类攻击给现实中的服务提供商带来了严重风险，可能导致广泛的业务中断和经济损失。例如，生成式AI平台Midjourney曾经历了一次持续24小时的重大系统中断，可能是由于另一家生成式AI公司的员工试图抓取数据，导致拒绝服务。

在机器学习领域，类似的概念很少被提及。这可能是因为大多数机器学习模型在设置超参数后，其计算复杂性保持固定。无论输入数据内容如何，大多数机器学习算法的计算成本和资源消耗几乎是恒定的。然而，只有少数研究关注在推理阶段的资源针对型攻击。例如，Shumailov等人（2021年）首次发现了触发过度神经元激活的样本，这些样本能够最大化能量消耗和延迟。后续研究还探讨了其他针对动态神经网络和语言模型的推理阶段攻击。然而，据我们所知，之前的工作尚未针对机器学习系统的训练阶段的计算成本进行攻击。该工作首次通过高斯点云建模，提出了这一研究方向，该方法具有自适应的计算复杂性。

POISON-SPLAT攻击

问题表述

在数据投毒框架下对攻击进行表述。受害者是3D高斯点云（3DGS）的服务提供商，他们通常使用多视图图像和相机姿态的数据集  训练3DGS模型。我们假设攻击者具备在整个数据集中引入投毒数据的能力。这一假设是现实的，因为攻击者可以伪装成普通用户，秘密提交投毒数据，或者甚至隐秘篡改合法用户上传的数据。这使得攻击能够悄无声息地发起，并增强了其对3DGS训练过程的潜在影响。接下来我们详细描述攻击者和受害者的表述。

攻击者。攻击者从干净数据集  开始，通过操作这些数据生成投毒训练数据 ，其中攻击者并不修改相机姿态配置文件。每幅投毒图像  是从原始干净图像  扰动而来的，目的是最大化受害者训练过程中的计算成本，如GPU内存使用和训练时间。攻击者的最终目标是显著增加计算资源的消耗，甚至通过压倒训练系统来导致拒绝服务攻击。

受害者。另一方面，受害者从攻击者处接收了这个投毒数据集 ，并不知道数据已被投毒。受害者使用这些数据训练高斯点云模型 ，其目标是最小化重建损失（见公式1）。受害者的目标是尽可能实现最低的损失，从而确保高斯点云模型的质量。

优化问题。总结来说，攻击者的计算成本攻击可以表述为如下最大-最小双层优化问题：

其中，计算成本度量  是灵活的，可以由攻击者设计。

提出的方法

为了实施攻击，直接求解上述优化问题是不现实的，因为计算成本不可微。因此，我们试图为该目标找到一个近似解。

使用高斯数量作为近似。3DGS的一个主要优势是其根据输入数据的复杂性动态调整模型复杂性（即高斯的数量）的能力。这种适应性增强了模型在渲染复杂场景时的效率和逼真度。然而，这一特性也可能成为潜在的攻击后门。为了探索这一点，我们分析了高斯数量如何影响计算成本，包括内存消耗和训练时间。我们的研究结果（图2(a-b)）揭示了计算成本与使用的高斯数量之间的显著正相关性。基于这一见解，使用高斯的数量 ∥G∥ 来近似内部优化中涉及的计算成本函数是直观的：

通过锐化3D物体最大化高斯数量。即使有了上述近似，解决优化问题仍然困难，因为3DGS中的高斯增密操作不可微。因此，攻击者不可能使用基于梯度的方法来优化高斯的数量。为了规避这一问题，我们探索了一种策略性替代方法。如图2(c)所示，我们发现3DGS倾向于为那些具有更复杂结构和非平滑纹理的物体分配更多的高斯，且这种复杂性可以通过总变分（Total Variation，TV）得分来量化，即评估图像锐度的度量标准。直观上，3D物体表面越不平滑，模型需要更多的高斯来从其2D图像投影中恢复所有细节。因此，非平滑性可以作为高斯复杂性的一个良好描述符，即 ∥G∥ ∝ STV(D)。受此启发，我们通过优化渲染图像的总变分得分 STV(Ṽk) 来最大化计算成本：

通过可选的约束优化平衡攻击强度与隐蔽性。上述策略使攻击能够显著增加计算成本。然而，这可能会导致图像的无限制更改，进而导致生成的视图图像在语义上的完整性丧失（参见图4(b)），使得攻击容易被检测到。考虑到攻击者可能希望在保持图像语义的同时隐秘地发起攻击，我们引入了一种可选的约束优化策略。受对抗性攻击的启发，我们在扰动上施加了L∞范数的ϵ球约束：

ϵ

其中，ϵ 表示将渲染的投毒图像限制在原始干净图像 Vk 周围的L∞范数的ϵ球内，即 ϵ。通过调整ϵ，攻击者可以在攻击的破坏性和隐蔽性之间进行权衡，实现所需的结果。如果ϵ设置为∞，则约束实际上被移除，返回到其原始的无约束形式。

通过代理模型确保多视图图像的一致性。我们研究中的一个有趣发现是，仅通过最大化每个视图图像的总变分得分来独立优化扰动，并不能有效增强攻击效果。如图3(b)所示，这种基于图像级别的总变分最大化攻击的效果显著低于我们的Poison-splat策略。这主要是因为图像级别的优化会导致不同视图之间的投毒图像出现不一致，从而削弱了攻击的整体有效性。

我们的解决方案受到了3DGS模型渲染函数的视图一致性特性的启发，该函数有效地保持了从3D高斯空间生成的多视图图像之间的一致性。基于此，我们提出训练一个代理3DGS模型来生成投毒数据。在每次迭代中，攻击者将当前的代理模型投影到相机姿态上，获得渲染图像 。此图像随后作为优化的起点，攻击者在干净图像  的 ϵ 范围内，搜索一个目标 ，以最大化总变分得分。接着，攻击者通过一个优化步骤更新代理模型，以模仿受害者的行为。在随后的迭代中，投毒图像的生成从更新后的代理模型的渲染输出开始。通过这种方式，攻击者通过迭代展开外部和内部优化，近似解决了这个双层优化问题，同时保持了视图之间的一致性，从而增强了攻击的有效性。我们在算法1中总结了Poison-splat的流程。

实验效果

总结一下

Poison-splat揭示了3D高斯点云（3DGS）中的一个重大且此前未被重视的安全漏洞，该方法显著增加了3DGS的计算需求，甚至可以触发拒绝服务（如服务器中断），从而给3DGS服务提供商造成重大财务损失。通过采用复杂的双层优化框架和一系列策略，如攻击目标近似、代理模型渲染和可选的约束优化，该方法证明了此类攻击的可行性，并强调了简单防御措施难以应对这一问题。这是首个研究如何攻击3DGS计算复杂性的工作，首次探讨了机器学习系统训练阶段的计算复杂性攻击。希望3DGS领域的研究人员和实践者能够认识到这一安全漏洞，并共同努力开发更加健壮的算法和防御策略，以应对此类威胁。

局限性与未来方向

1. 更好的外部最大化优化近似。在本研究中，通过高斯的数量来近似外部最大化目标（即计算成本）。尽管高斯的数量与GPU内存占用和渲染延迟有很强的相关性，但仍然可能存在更好的优化度量。例如，高斯的“密度”，即在相同平铺中参与alpha混合的高斯数量，可能是实现更好优化结果的一个更好的度量标准。

2. 更好的防御方法。主要关注开发攻击方法，而没有深入探讨防御策略。我们希望未来的研究可以提出更健壮的3DGS算法，或者开发出更有效的防御技术来应对此类攻击。这一方向的研究将显著增强3DGS系统在实际应用中的安全性和可靠性。

社会影响
尽管我们的方法可能会被恶意行为者滥用，扰乱3DGS服务提供商并造成经济损失，但我们的目标并不是促成这样的行为。相反，我们的目的是揭示3DGS系统中存在的重大安全漏洞，并促使研究人员、从业者和服务提供商共同认识和解决这些问题。我们希望通过我们的研究，激励开发出更健壮的算法和防御策略，从而增强3DGS系统在实际应用中的安全性和可靠性。我们承诺坚持伦理研究，不支持利用我们的研究结果对社会造成伤害。

参考

[1] POISON-SPLAT: COMPUTATION COST ATTACK ON 3D GAUSSIAN SPLATTING

『自动驾驶之心知识星球』欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

端到端自动驾驶、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内外最大最专业，近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵