论文研读｜COSYWA: Enhancing Semantic Integrity in Watermarking Natural Language Generation

---

论文信息

论文名称：COSYWA: Enhancing Semantic Integrity in Watermarking Natural Language Generation
作者：Junjie Fang, et al. Xiamen University
发表年份：2023
发表会议：NLPCC
开源代码：无

文章简介

本文提出一种提升语义完整性的无盒水印方法保护文本生成模型的版权。

研究动机

考虑到现有无盒水印方法并未注重水印嵌入前后文本语义的变化情况[11-13]，本文提出一种基于掩码语言模型的无盒水印嵌入方法，使用掩码语言模型选择替换词集，实现水印嵌入前后的语义一致性。

研究方法

水印嵌入

借鉴[12]中的做法，使用形容词构建候选词集，将候选词集中的词汇称为水印词汇。

构建替换词集时，首先将当前文本出入到MLM，得到水印词汇对应的当前时间步的概率分布。然后根据当前水印词汇的前序词，按照$\gamma$:$(1-\gamma )$的比例对词表中的词汇进行划分，得到green list 和 red list。之后，从 green list 中选择出现概率最高的 Top-K 个词汇，再从这些词汇中选择出替代完成后BertScore值最高的形容词，最为最终的替换词汇。完整的算法流程如下：

版权验证

本文同样使用零假设检验的方法验证水印的存在。使用a one-proportion z-test，其中$z$ 统计量的计算方式如下：

完整的水印嵌入与版权验证流程如 Figure 1 所示。

实验结果

任务选取：机器翻译和文档摘要
数据集：WMT14 和 CNN/DM
模型选取：Bert as MLM， Facebook/wmt-19-de-en for MT, and bart-large-cnn for DS
Baselines: [12, 13]

保真度 & 有效性

隐蔽性

Figure 2 (a) 对比了 [12] 与本方法嵌入的的水印词汇的隐蔽性；Figure 2 (b) 对比了使用COSYWA方法嵌入水印前后，文本的ppl困惑度变化，可见水印嵌入后困惑度变大，说明水印的嵌入会一定程度上影响文本的质量。

消融实验

Table 2 展示了使用不同词性的水印词汇对原始任务性能以及水印有效性的影响，由 Table 2 可见，形容词相较于名词、动词和副词，能够较好地兼顾这二者，因此本文选取形容词作为水印词汇。

Case Study

Table 3展示了一些使用不同方法嵌入水印生成文本。

方法评估

这篇文章主要亮点在于使用MLM的优势确定候选词，而非人为地选择候选词集，在候选词集的选择以及红绿词表的划分方面借鉴了前人的想法。此外，本文提到的水印「鲁棒性」也并未通过实验进行验证。

本文主打语义完整性，然而从结果（Figure 2）上来看，这种方法的优势主要在于隐蔽性强，而不是在水印完整性上略胜一筹。

PS：困惑度那个实验反映出的问题是只当前水印的视觉不可感知性有待提高，但如果使用基于修改式的方法嵌入水印，那么水印的隐蔽性保护如果只是在隐蔽水印词汇的层面还远远不够，因为基于修改的嵌入方式势必会影响文本的质量以及统计概率分布。因此，设计一种提升水印视觉与统计不可感知性的方法很有必要。

相关文献

[11] He, X., et al.: Cater: intellectual property protection on text generation APIs via conditional watermarks. NeurIPS, 2022.
[12] He, X., et al.: Protecting intellectual property of language generation APIs with lexical watermark. AAAI, 2022.
[13] Kirchenbauer, J., et al.: A watermark for large language models. ICML, 2023.