论文研读｜An Embarrassingly Simple Approach for Intellectual Property Rights Protection on RNNs

_Meilinger_

于 2023-10-23 20:00:47 发布

阅读量171

点赞数

分类专栏：神经网络水印论文研读文章标签： AI安全神经网络水印语言模型白盒水印版权保护模型水印 RNN

本文链接：https://blog.csdn.net/qq_36332660/article/details/133990551

版权

论文研读同时被 2 个专栏收录

37 篇文章 9 订阅

订阅专栏

神经网络水印

18 篇文章 6 订阅

订阅专栏

在这里插入图片描述

论文信息

论文名称：An Embarrassingly Simple Approach for Intellectual Property Rights Protection on Recurrent Neural Networks
作者：Zhi Qin Tan et al. Universiti Malaya
发表年份：2022
发表会议：AACL | IJCNLP
开源代码：https://github.com/zhiqin1998/RecurrentIPR

文章简介

本文提出一种使用白盒或黑盒的方式保护RNN模型版权的鲁棒水印方法，对移除攻击和伪造攻击具有很好的鲁棒性。

在这里插入图片描述

研究动机

基于RNN的NLP模型应用广泛，然而对此类模型的版权保护工作未被引起足够的重视，仅有(Lim et al. 2022)一项相近的工作。基于此，本文提出GateKeeper，借助RNN模型的门限控制单元嵌入水印信号。

研究方法

本文提出黑盒水印和白盒水印的两种模型版权保护方式。

白盒水印

水印信号构造

在这里插入图片描述

黑盒水印

触发集构造

针对文本分类任务，选择 $t$ 个训练样本，通过标签互换得到触发集；针对机器翻译任务，本文设计了两种触发集构造方式（1）跨域数据标签互换（2）源语言和目标语言均为随机词汇组合而成。
在这里插入图片描述

水印嵌入

本文设计了Private Ownership Scheme 和 Public Ownership Scheme 两种模式。Algorithm 1 为 Public Ownership Scheme 的训练流程，通过这种方式，可以同时嵌入白盒水印和黑盒水印。

在这里插入图片描述

实验结果

任务选取：文本分类（TREC-6）&机器翻译（WMT14 EN-FR）

保真度 & 有效性

由 Table 2 可知，正确的密钥能够确保模型的原始性能，并成功触发黑盒水印；然而错误的密钥会使模型的原始任务性能下降，无法成功触发黑盒水印。
在这里插入图片描述
此外，Table 2 反映出水印的添加会使得模型的训练时间成本增大。但由于训练是由模型所有者完成，因此影响不是很大。相反，水印的添加对模型的推断时间影响要尽可能小，因为这直接关系到模型使用者的体验。