北京大学提出GS-Hider：三维高斯溅射隐写术

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

图1：应用场景。3DGS训练者（Alice）需要原始场景与待隐藏场景的训练视图来训练我们的GS-Hider，这包括一个3DGS点云文件、场景解码器和信息解码器。之后，Alice会将3DGS点云文件和场景解码器上传至网络。3DGS用户（Bob）能够渲染查看原始三维场景，但只有用于信息提取器的训练者有权提取隐藏的三维场景，以此实现版权保护或秘密通信。

作为计算机视觉与图形领域的前沿技术，三维场景重建与新视角合成在电影制作、游戏引擎、虚拟现实及自动驾驶等领域发挥着至关重要的作用。特别是，三维高斯溅射（3D Gaussian Splatting，简称3DGS）因其优秀的保真度和实时的渲染速度，已成为三维渲染的主流方法。鉴于3DGS的渲染成本极高，保护三维资产的版权与隐私显得尤为重要。作为版权保护领域内广为研究的技术，数字水印与隐写术旨在以不可见的方式将音频、图像或比特等信息隐藏于数字内容中。在解密过程中，仅接收方通过预定义的解密操作才能从载体中恢复出秘密信息。因此，一个直观的想法是，我们能否设计一种针对3DGS的隐写术方法，用以保护三维场景的版权与隐私呢？   

与神经辐射场（NeRF）不同，3DGS具有两大显著特点：1）显式的三维表示；2）实时的渲染速度。这些特性使得3DGS的点云文件能够被直接上传到网上以供实时渲染，公开且透明，每个高斯点都具有明确的物理意义。因此，在将信息嵌入到3DGS点云文件的同时，确保原始三维场景的安全性与保真度是一项极其艰巨的挑战。

任务定义：由于NeRF隐式表示的渲染速度较慢，用户通常只能在线上访问少数离散渲染的视角，而非获取整个NeRF模型权重。因此，NeRF训练者通常需要将信息嵌入模型权重中，并确保从每个渲染的二维视角中能够提取出相同图像或比特信息。然而，对于3DGS隐写而言，由于其具备实时渲染能力，训练好的点云文件可能会直接上传至网络。因此，我们的任务设定是在拟合原始三维场景获得容器3DGS的过程中隐藏信息，随后从该容器3DGS中提取嵌入的信息。与NeRF隐写术设置的不同之处在于：1) 我们的提取过程需要获取整个3DGS点云文件；2) 我们不仅仅追求从渲染出的二维视角中提取信息，更侧重于在更本质的3D高斯点中进行隐藏与提取。特别地，根据不同的目的，我们的隐藏信息可以分为以下几类：

• 加密通信：在原始三维场景中隐藏其他三维场景。我们利用原始三维场景来保护秘密三维场景，防止被恶意窃取和提取。

• 版权保护：在3DGS的固定视角中隐藏图像。通过预先添加的版权图像与解码后的图像对比，验证3DGS的所有权。   

图2：所提GS-Hider的总体框架概述。该框架采用安全耦合的特征属性与渲染器融合隐藏与原始信息，得到渲染后的高维耦合特征。随后，利用场景与信息解码器对渲染出的原始RGB场景和隐藏信息进行解耦。

提出方法：为解决上述问题，我们提出了一种高效且灵活的隐写术框架——GS-Hider。该框架旨在将三维场景或图像以不可见的方式嵌入原始场景中，并通过预先设计的解码模块准确提取隐藏的信息。具体而言，我们定义了一种更灵活、安全的耦合特征属性，用以替换原始3DGS的球谐系数。进一步地，而非直接渲染RGB视图，我们设计了一个耦合的特征渲染器，渲染得到一个耦合的高维特征，实现信息的嵌入和融合。最终，我们使用一个场景解码器和不公开的信息解码器并行地从耦合特征中解耦原始3D场景和隐藏场景。

实验结果：由于我们是首个提出的3DGS隐写方法，我们和几个直观的3DGS隐写方法，包括添加一个球谐系数来拟合隐藏场景（3DGS+SH），添加一个隐藏场景解码器（3DGS+Decoder）进行比较。如表1所示，GS-Hider能够以更小的GS文件大小取得更高的原始场景、隐藏场景渲染保真度。

表1：GS-Hider和其他直观3DGS隐写做法渲染质量比较。   

此外，我们的GS-Hider也能够实现将多个3D场景藏到一个3D场景中，或者在3D场景的某一个视角中隐藏一张代表版权的图片。如表2和图4所示。

图3：GS-Hider与其他直观隐写方法的可视化对比。

表2：GS-Hider与其他直观GS隐写方法在藏单张图上的性能对比。

   

图4：GS-Hider隐藏多个3D场景的效果展示图。

论文信息：

Xuanyu Zhang, Jiarui Meng, Runyi Li, Zhipei Xu, Yongbing Zhang, Jian Zhang*. GS-Hider: Hiding Messages into 3D Gaussian Splatting. (*通讯作者)

论文网站：https://arxiv.org/pdf/2405.15118

项目网址：https://xuanyuzhang21.github.io/project/gshider/

实验室简介：

视觉信息智能学习实验室（VILLA）由张健助理教授在2019年创立并负责，致力于AI内容生成与安全、底层视觉、三维场景理解等研究方向。近几年，已在CVPR、ICCV、ECCV、NeurIPS、ICLR、TPAMI、TIP、IJCV、AAAI等高水平国际期刊会议上发表成果50余篇。VILLA在图像/视频编辑、AIGC安全领域发布多款爆火技术和产品，包括T2I-Adapter、DragonDiffusion、DiffEditor, 360DVD，EditGuard和V2A-Mark。其中T2I-Adapter、DragonDiffusion等已被Stability AI，Huggingface，兔展等国内外知名AIGC公司用于落地产品中。更多信息可关注：

实验室主页：https://villa.jianzhang.tech/

张健老师主页：https://jianzhang.tech/

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看