干货！深度学习模型的水印和验证

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

劳颖捷：

现任克莱姆森大学电气和计算机工程系助理教授。从浙江大学和明尼苏达大学获得学士和博士学位。研究方向包括机器学习安全和隐私，网络安全，对人工智能和密码学的硬件加速，硬件安全，硬件架构与设计。获得美国国家科学基金会杰出青年职业奖（NSF CAREER）和多个最佳论文奖。

随着深度神经网络(DNN) 的发展，模型构建的复杂性也急剧增加。因此保护模型的知识产权 (IP) 并确保已部署模型的可信度和完整性变得至关重要。本次报告将先介绍我们提出的基于修改极少参数的模型水印嵌入方法。与此同时，有别于现有工作的鲁棒水印，我们提出了一种新的 DNN 身份验证框架 DeepAuth。该框架能够将脆弱的签名嵌入到每个受保护的 DNN 模型中。嵌入后，每个模型将对验证用的关键样本做出独特的反应，因此可以作为身份验证的工具。签名嵌入过程旨在确保签名的脆弱性，能够检测对于模型的恶意修改。

深度神经网络的应用

我们都知道，通过开发强大的算法和设计工具，深度神经网络DNN正在各个领域成为最新颖的技术，如机器翻译、自动驾驶、围棋和图像识别等等。优化的深度神经网络是高价值的知识产权！

我们要设计和训练深度神经网络的花费很大。下面举几个例子：

•BERT: 256 TPU-chip days ~ $6,912

•GPT-3: 355 Tesla-V100 years ~ $4,600,000

与此同时，机器学习当作一种服务“Machine Learning as a Service” (MLaaS)也渐渐流行开来，我们列举了几个常见的MLaaS的供应商。

一些中小企业用户不会自己训练模型，而是需要这些供应商来训练模型并提供部署。

水印技术

我们的研究做了一些保护深度神经网络产权的探索——水印技术。

•水印的主要作用是保护知识产权(IP)

•水印早已在包括图像和视频等传统领域中广泛使用。近期也被应用到深度神经网络(DNN)上。

深度神经网络水印（DNN Watermarking）

目标：在神经网络中嵌入水印 （watermark embedding），使其能够被密钥样本（key samples）验证。

水印的设计者会产生一些独特样本——密钥样本，作用在于嵌入水印后可以被提取验证水印。之后，一旦产生了密钥样本就需要将其嵌入到深度神经网络之中，且需要重新训练DNN模型以确保深度神经网络可以识别这些密钥样本。最后，我们会将模型部署到用户需要的地方。

如上图的例子，我们在加入一些独特水印之后会被认为是不同于原图片的另一种分类。

威胁模型分析（Threat Model）

密钥样本是不会对用户公开的，只有当知识产权拥有者需要的时候才会用来提取水印。我们当前只能通过远程API远程询问水印验证。

主要性能指标

以下是评价水印效果的三个指标：

•效用（Effectiveness）: 能够成功嵌入水印

•保真（Fidelity）: 不影响原先模型的预测

•鲁棒（Robustness）: 无法在不摧毁模型的前提下移除水印

水印的