Generative Text Steganography with Large Language Model(ACM MM CCF：A)

Generative Text Steganography with Large Language Model(ACM MM CCF:A)

原文链接： Generative Text Steganography with Large Language Model

摘要

大型语言模型(LLM)的最新进展模糊了人类和机器之间高质量文本生成的界限，这有利于生成文本隐写。目前，高级隐写映射并不适LLM，
因为大多数用户仅限于访问LLM的黑盒API或用户界面，因此无法访问训练词汇表及其采样概率。在本文中，我们探索了一种基于大型语言
模型用户界面的黑盒生成文本隐写方法，称为LLM-Stega。LLM-Stega的主要目标是通过使用LLM的用户界面来确保Alice(发送方)和Bob(接收方)之间的安全隐蔽通信。具体来说，*我们首先构建一个关键字集，并设计一个新的加密隐写映射来嵌入秘密消息。进一步，提出了一种基于拒绝采样的优化机制，以保证秘密消息的准确提取和生成的隐写文本的丰富语义。*综合实验表明，所提出的LLM-Stega优于目前最先进的方法。

背景

现有的生成式文本隐写方法通常是在一个词库上训练一个语言模型。随后，通过在代表秘密信息的特定二进制位与训练词汇中单词的抽样概率之间建立隐写映射，嵌入秘密信息。

现有的生成文本隐写方法都是白盒范式，即无论是嵌入还是提取秘密消息，都需要在所有生成步骤上使用现成的语言模型和词汇的采样概率分布。此外，由于训练费用昂贵，性能优异，现成的大型语言模型具有很高的商业价值。用户几乎不访问采样分布，而是更多地依赖于黑盒api和ui来利用LLMs。因此，现有的白盒方法并不适用于LLMs。

两个局限性：

(1) 这些都是白盒方法，要求 Alice 和 Bob 共享相同的语言模型和训练词汇。受语言模型和训练语料的限制，生成的文本在流畅性、逻辑性和多样性方面与自然文本相比有明显差距。

(2）嵌入范式在秘密信息和现成语言模型的采样概率之间建立隐写映射，不可避免地会改变采样概率分布，从而带来安全风险。

贡献

(1) 首次探索利用 LLM 的用户界面实现黑盒生成式文本隐写术，通过一些精心设计的提示生成隐文本并提取密文。

(2) 我们构建了一个关键词集，并设计了一个加密的隐写映射来嵌入秘密信息。同时，提出基于拒绝采样的优化机制，以确保密文提取的准确性和生成的隐写文本语义的丰富性。

(3) 进行了综合实验，以评估拟议的 LLM-Stega 在嵌入容量和安全性方面优于算术编码 [1]、ADG [2] 和 Discop [3]等最先进的方法。

[1] Zachary Ziegler, Yuntian Deng, and Alexander M Rush. 2019. Neural Linguistic Steganography. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural
Language Processing (EMNLP-IJCNLP). 1210–1215.

[2] Siyu Zhang, Zhongliang Yang, Jinshuai Yang, and Yongfeng Huang. 2021. Provably Secure Generative Linguistic Steganography. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021. 3046–3055.

[3] Jinyang Ding, Kejiang Chen, Yaofei Wang, Na Zhao, Weiming Zhang, and Nenghai Yu. 2023. Discop: Provably Secure Steganography in Practice Based on “Distribution Copies”. In 2023 IEEE Symposium on Security and Privacy (SP). IEEE Computer Society, 2238–2255.Discop：基于分布副本的可证明安全隐写 | ComyDream Studio

(a)以前的方法依赖于语言模型和隐写映射，这是一种白盒方法;

(b)提出的LLM-Stega通过使用大型语言模型生成stego文本。LLM-Stega直接使用LLM的ui嵌入和提取秘密消息，这是一种黑盒方法。

方案

提出的LLM-Stega旨在使用LLMs的UI生成stego文本并提取秘密消息。LLM-Stega由关键字构造、加密隐写映射、隐写文本生成和秘密信息提取四个部分组成。

LLM-Stega 的整体框架。Lc-Idx 和 Re-Idx 分别是所选关键词在增强关键词集中的位置索引和重复次数。Sec-Mes 表示秘密信息。w_i和p_i 分别表示关键词集中的第 i 个词和第 i 个抽样概率。

关键字集构建

由于是黑盒子，我们无法获得 LLM 的训练数据及其在每一步的分布情况，从而无法对密文进行编码。因此，我们构建了一个关键词集来对密文进行编码，其中关键词是生成的隐写文本的重要组成部分。本文选择主语、谓语、宾语和情感作为每个生成句子的关键词。我们首先设计了一个关键词提示，诱导 LLM 生成四个关键词子集，包括主语集、谓语集、宾语集和情感集。除了包含3个不同词(消极、积极和中性)及其采样概率的情感集外，其他子集包含16个不同的高概率词和相应的采样概率。

值得注意的是，从四个子集中随机抽取关键词的逻辑不清、语义模糊，给生成满意的隐写文本带来了困难。为了缓解这一问题，在评价提示的诱导下，LLM被用来评估随机选择的关键词的优越性并优化它们的概率。与现有的白盒方法相比，利用构建的关键词集对密文进行编码有三个显著优势：（1）关键词集与 LLM 的生成过程分离，用户无需获取 LLM 的采样分布。同时，隐写行为不会改变 LLM 的采样分布，从而提高了生成的隐秘文本的安全性。(2）由于利用 LLM 的潜在知识优化了关键字及其采样概率，因此基于这些关键字生成的隐秘文本可以达到很高的文本质量。(3) 在理想情况下，只要关键词集足够大，就能编码大量密文。

加密隐写映射

在实际应用中，常用关键词的数量是有限的，其采样分布也不服从均匀分布。如果直接使用这些子集对密文进行编码，生成的隐秘信息的嵌入能力和安全性都无法得到满足。为了解决这些问题，我们首先扩充了关键词集。具体来说，我们根据优化的采样概率进行重复采样，以扩展关键词集。然后，直接使用扩展集中关键字的位置索引对密文进行编码。在这一部分，为了在时间成本和嵌入容量之间取得良好的权衡，我们将三个子集（主语、谓语和目标）的容量从 16 个词扩展到 2¹⁸ 个词，将情感子集的容量从 3 个词扩展到 2¹⁰ 个词，这样就可以编码 3 ∗ 18 + 10 = 64 比特的密文。在增强关键词集中，更常见的关键词具有更高的采样概率，可以编码更多的密文。增强策略不仅提高了嵌入容量，还保持了关键字编码密文的真实采样概率。

我们注意到，关键词的位置指数是固定的，这导致了隐写行为的潜在暴露风险。为了进一步提高隐写映射的安全性，我们设计了一种加密策略。具体来说，我们使用一次性密码机制来实现加密。利用在线社交网络（OSN）上的关键字重复次数和隐秘文本的发布时间进行 XOR 运算，其公式如下：
$$S=B_{Re-Idx}\oplus B_{Real-Time}$$
与现有的隐写映射相比，所提出的加密隐写映射在生成过程中不会破坏 LLM 的采样分布，因为隐写图形映射与 LLM 生成过程无关。由于这一特点，所提出的映射适用于各种具有用户界面的 LLM。由于篇幅所限，本文仅利用 GPT-4 的用户界面来评估所提出的加密隐写映射的优越性。

隐写文本生成和秘密消息提取

拟议的 LLM-Stega 的主要目标是利用 LLM 的用户界面实现隐写文本生成和密文提取。在使用提议的加密隐写映射选择关键词后，我们使用嵌入提示来诱导 LLM 生成隐写文本。与显式提取算法不同，依靠 LLM 的提取无法确保完全准确的提取。因此，我们提出了一种基于剔除采样的反馈优化机制。

在生成过程中，LLM 在设计好的前牵引提示的指导下，尝试输出密文中编码的关键词。如果输出的关键词出现错误，LLM 可以返回这些错误的主要原因，并优化嵌入、生成和提取提示，直到没有提取错误为止。基于拒绝采样的反馈优化机制详见算法 1。在我们的实验中，进行两次剔除采样可以确保准确提取嵌入到每个偷窃句中的密文。值得注意的是，剔除采样模块背后有一个生成提示，如图 2 所示。 主要原因是在迭代优化过程中，生成的隐秘文本往往是只包含关键词的简单句，这样才能保证提取的准确性。而生成的隐写文本的句子多样性和语义丰富性却被削弱，从而导致安全风险。因此，我们设计并优化了嵌入和生成提示，分别确保语义的丰富性和提取的准确性。

鲍勃从 OSN 获取生成的伪文本后，利用提取提示，使用 LLM UI 从生成的伪文本中提取关键字。最后，根据包含关键字集、私钥、“一次性密码 ”机制和隐秘文本在 OSN 上的发布时间的共享侧信息，Bob 可以完美地解码密文。

伪文本中提取关键字。最后，根据包含关键字集、私钥、“一次性密码 ”机制和隐秘文本在 OSN 上的发布时间的共享侧信息，Bob 可以完美地解码密文。