用策略性文本序列影响大模型的输出

大型语言模型（LLMs）正越来越多地被集成到搜索引擎中，以提供针对用户查询的自然语言响应。用户也越来越依赖这些模型来做出快速而简便的购买决策。在本研究中，我们探讨了LLMs的推荐是否可以被操控以提升产品的可见性。

我们证明，通过在产品信息页面中添加一个策略性文本序列（STS），即一个精心设计的消息，可以显著提高该产品被列为LLM首要推荐的概率。为了理解STS的影响，我们使用虚构的咖啡机目录并分析其对两个目标产品的影响：一个是很少出现在LLM推荐中的产品，另一个是通常排在第二位的产品。

我们发现，策略性文本序列显著提升了这两个产品的可见性，增加了它们成为首要推荐的几率。操控LLM生成的搜索响应的能力为供应商提供了显著的竞争优势，并有可能扰乱公平的市场竞争。

正如搜索引擎优化（SEO）改变了网页如何被定制以在搜索引擎结果中排名靠前，影响LLM推荐可能会深刻影响基于AI驱动的搜索服务的内容优化。

我们的实验代码可在github仓库获取。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割

1、引言

大型语言模型（LLMs）目前被广泛应用于电子商务平台中，用于搜索产品目录并根据用户的特定查询提供个性化推荐。

尽管传统的搜索引擎在检索相关页面方面表现出色，但它们缺乏将信息综合并以连贯的方式呈现的能力。LLMs快速填补了这一空白，能够将搜索结果编译成自然语言响应，直接解决用户的具体查询。

像Google Search和Microsoft Bing这样的搜索引擎已经开始将LLM驱动的聊天界面集成到传统搜索框旁边。类似地，像OpenAI的Chat-GPT和Perplexity AI这样的聊天机器人通过浏览互联网获取最新信息，以增强其响应能力。

图1: Bing Copilot针对搜索短语“咖啡机”的响应

当用户输入查询时，搜索引擎会从知识库（如互联网或产品目录）中检索相关信息。然后将检索到的信息与查询一起输入LLM，生成响应。这一机制为第三方通过操控检索到的内容影响LLM提供了可能性。

试想一个场景：消费者在线寻找产品推荐。LLM搜索工具将根据用户的需求和偏好提供品牌列表，类似于图1中的示例。这引发了一个关键问题：供应商能否通过在产品信息页面中嵌入策略性文本序列来提高其产品的可见性？

我们在本研究中展示了LLM可以通过增加产品被列为首要推荐的概率而被操控。我们开发了一个框架，通过在产品信息中插入策略性文本序列（STS），以偏向于某个目标产品的方式操控LLM的推荐。

我们的框架利用了对抗攻击算法，如Greedy Coordinate Gradient (GCG) 算法 ，来优化STS。虽然此类算法通常设计用于绕过LLM的安全防护机制并引发有害输出，但我们展示了它们可以被重新利用于更为良性的目标，例如提升产品可见性，这对社会，特别是商业和电子商务有着深远的影响。

我们的框架还允许优化STS，使其对检索到的产品信息顺序的变化具有鲁棒性，从而保证在LLM输入提示中，产品信息的顺序变化不会影响优化效果。

图2: 在添加策略性文本序列之前（未推荐）和之后（成为首要推荐）的目标产品排名分布。

使用虚构的咖啡机目录，我们展示了策略性文本序列的添加显著提高了目标产品的可见性，增加了其被推荐给潜在客户的几率。例如，图2展示了在200次LLM评估中，添加策略性文本序列前后目标产品排名的变化。产品从未出现在LLM的推荐列表中，到成为首要推荐。

为了测试STS的鲁棒性，我们在每次评估中选择一个随机排列的产品列表，并生成LLM的推荐，分别测试添加STS前后的效果。添加STS后，目标产品在LLM推荐中的排名显著提高。此外，4.2节的图6b中展示了即使对于一个在LLM推荐中接近顶部的产品，STS也能显著增加其成为首要推荐的几率。

操控LLM搜索响应的能力为供应商在竞争对手产品面前提供了显著的竞争优势。这种能力对市场动态有着广泛的影响，因为它可以改变竞争的平衡，导致产品的呈现方式倾斜。随着LLMs越来越深地嵌入到数字商务基础设施中，必须建立防护措施，防止AI驱动的搜索工具被滥用，从而获得不公平的竞争优势。

2、相关工作

• 检索增强生成

传统的LLMs受限于其训练阶段所获得的知识，使得它们难以在训练后保持信息的及时更新。此外，当仅基于训练模型的权重生成文本时，LLMs容易出现事实错误。检索增强生成（RAG）通过将外部知识源（如数据库或搜索引擎）与LLM相结合，以额外的上下文增强文本生成过程，从而解决了这些限制。

在此框架下，检索组件根据给定的用户提示从知识库中提取上下文相关的信息。这些信息随后与提示一起输入LLM，以生成针对特定用户提示的响应。这种技术已被证明能够提高LLMs的少样本学习表现 ，预训练效果，跨语言性能 ，开放域问答 等领域的表现 。RAG对于确保LLM搜索工具能够随时保持最新信息是至关重要的。

• LLMs的对抗攻击

大型语言模型被证明易受对抗攻击影响，攻击者通过在输入提示中引入恶意构造的字符序列来绕过模型的安全机制，生成有害响应。这些对抗序列被证明是通用且可迁移的。这意味着它们在多种有害提示下都有效，甚至能够危害只允许查询访问的黑盒LLMs。

类似的攻击还可以诱发LLMs的非预期行为，例如误导、数据提取、控制操纵或服务拒绝 。此外，对抗攻击还可以被设计得类似于自然文本，从而绕过基于困惑度过滤的防御机制。提示注入攻击则通过将对抗序列嵌入LLM可能检索到的数据中，导致数据盗窃、API访问控制，或生成恶意代码。自我复制的对抗序列还能够跨多个LLMs传播，潜在地危及整个互联AI系统网络。

虽然文献中的大多数对抗攻击算法都是为恶意目的而设计的，如物理伤害或数据盗窃，但我们的研究探讨了更为良性的应用：电子商务供应商使用策略性文本序列来提升产品可见性。尽管意图并非恶意，但这种方法在商业和电子商务中可能带来重要影响。

• 搜索引擎优化

与我们的工作密切相关的一个研究领域是搜索引擎优化 (SEO)。它研究通过提高网站在搜索引擎结果中的可见性来提高网站流量质量和数量的技术和策略。SEO 的目标是优化网站的内容，以最大限度地提高其在有机（非付费）搜索引擎结果页面上的排名，从而吸引更多访问者和潜在客户。

随着时间的推移，已经开发和研究了几种 SEO 技术，重点是内容优化、关键字选择、网站架构和反向链接质量。此外，还设计了工具来检测 SEO 策略并对其进行反击。

尽管存在大量关于 SEO 技术、其影响和对策的文献，但影响 LLM 以提高内容可见性的研究仍未得到充分探索。随着 LLM 越来越多地被整合到搜索引擎和电子商务平台中，研究如何影响这些模型以增强网站或产品的可见性变得非常重要

3、策略性文本序列（STS）

在本节中，我们描述了LLM驱动的搜索框架及生成策略性文本序列（STS）的方法。我们专注于在线产品推荐的应用场景，并定义如图3所示的搜索框架。该过程从用户提出查询开始，系统从知识库中提取相关的产品信息（如互联网或特定的产品目录数据库）。然后，将提取的产品信息与查询文本一起合并成一个文本序列，并输入LLM，以生成特定用户查询的定制响应。供应商通过在其产品的信息页面上插入精心设计的文本序列来影响LLM，使其推荐产品时倾向于该供应商的产品。

在我们的实验设置中，我们假设目标产品的信息已从知识库中提取，并输入到LLM中。对于供应商而言，目标产品信息页面是他们唯一能够控制的部分，因此这一点是至关重要的。我们还将重点放在开源语言模型（如Llama-2）上。然而，使用对抗攻击算法（如GCG）生成的序列也被证明能够迁移到黑盒模型（如GPT-4）上。

我们设想了一个场景：用户正在寻找价格实惠的咖啡机推荐。LLM提示包含三大组成部分：系统提示、从知识库中提取的产品信息（咖啡机列表）和用户查询。系统提示设置了对话的上下文，并控制LLM的行为。产品信息格式为包含十个虚构咖啡机信息的JSON行，每一行包括名称、描述、价格、容量、客户评分等字段。策略性文本序列被插入到这些产品中的一个，即目标产品的某个字段中。用户查询是一个对实惠咖啡机推荐的请求。以下是我们实验中使用的Llama-2输入提示的示例：

我们对策略性文本序列（STS）的优化目标是最小化LLM输出与字符串‘1. [目标产品名称]’之间的交叉熵损失。我们用一串虚拟符号‘*’初始化STS，并使用GCG算法逐步优化。在每次迭代中，该算法随机选择STS的一个符号，并将其替换为梯度最高的前k个符号之一。STS还可以通过在每次迭代中随机排列产品列表，使其对产品顺序变化更具鲁棒性。

图 3：LLM 搜索：给定用户查询，它会从互联网中提取相关产品信息，并将其与查询一起传递给 LLM。LLM 使用检索到的信息来生成针对用户查询的响应。带圆圈的数字表示步骤的顺序。STS：将战略文本序列添加到目标产品的信息页面，以增加向用户推荐的机会。

我们在目标产品信息中插入优化的 STS 来评估 LLM。它会根据用户的偏好（在本例中为可负担性）生成咖啡机列表。产品信息中的 STS 使 LLM 强烈推荐它，即使它可能不是一个负担得起的选择，否则就不会被推荐。以下是排名优化对 LLM 响应的影响。在产品列表中，目标产品 ColdBrew Master 被显示为最受推荐产品，而不是 SingleServe Wonder 和 FrenchPress Classic 等更实惠的选择：

我们解析 LLM 响应以找到每个产品首次出现的位置并按该顺序对它们进行排序。如果某个产品未出现在响应中，我们会为其分配一个大于列表中产品数量的排名。

4、实验

在本节中，我们研究了策略性文本序列（STS）对LLM推荐排名的影响，特别是针对两个目标产品的排名提升：ColdBrew Master 和 QuickBrew Express。LLM几乎从不推荐ColdBrew Master，因为它的价格较高（$199）。

然而，我们展示了通过在产品信息中添加STS，这款产品不仅能够出现在LLM的推荐列表中，还能在大多数情况下成为首要推荐。这表明STS可以让LLM偏向于与用户搜索标准不完全匹配的产品。

然而，有人可能会质疑，考虑到ColdBrew Master的高价，即使它是首要推荐，客户也不太可能购买。因此，我们还研究了一款价格更合理的产品——QuickBrew Express（$89），它通常在LLM的推荐中排名第二。我们发现，添加STS可以显著提高该产品的可见性，甚至有很大概率使其成为首要推荐。

这表明，即使是接近推荐列表顶部的产品，STS也能对其排名和可见性产生实质性影响，给该产品提供了相对于竞争对手的竞争优势。

4.1 ColdBrew Master

我们运行了GCG算法2000次迭代，以优化ColdBrew Master的STS。图4a展示了目标产品ColdBrew Master的排名在迭代过程中的变化。产品从未被推荐到在100次迭代后成为首要推荐。我们在200次LLM推理中测试了有无STS的情况下，策略性文本序列对目标产品排名的影响。图4b绘制了有无策略性文本序列情况下的排名分布。我们观察到，添加优化后的文本序列显著提高了目标产品成为首要推荐的概率。

图 4：在 GCG 算法的 100 次迭代中，目标产品 ColdBrew Master 从未被推荐变为最受推荐的产品。优化的文本显著增加了目标产品被列为最受推荐产品的机会

在图4的绘图中，LLM输入提示中的产品顺序保持不变。然而，在真实世界的LLM驱动搜索工具中，产品的顺序可能会发生变化。为评估STS对产品顺序变化的鲁棒性，我们在200次独立LLM推理中随机排列输入提示中的产品列表。在每次评估中，我们选择一个产品列表的随机排列，并分别评估有无STS时的排名变化。

我们认为，当产品的排名在加入STS后提高时，我们获得了优势；如果排名下降，则为劣势；如果排名不变，则没有优势。图5a展示了加入策略性文本序列后，目标产品排名的优势。在约40%的评估中，由于加入了优化序列，目标产品的排名更高。在约60%的评估中，排名没有变化。仅有少数评估显示优化序列导致排名下降。

接着，我们展示了通过优化STS使其对产品顺序变化更具鲁棒性，可以显著提升其优势。在GCG算法的每次迭代中，我们随机选择产品的排列，并根据该排列优化STS符号。我们发现，最终优化后的STS对产品顺序变化更加鲁棒。图5b绘制了在随机产品顺序下优化后的STS带来的优势比例，优势显著提高，而劣势比例则几乎可以忽略不计。

图 5：在 LLM 输入提示中的产品排序发生变化的情况下，评估 STS 对目标产品 ColdBrew Master 的优势。图 (a) 绘制了使用固定产品顺序进行优化的优势。图 (b) 表明，通过对产品列表进行随机排列进行优化，可以显著提高这一优势

4.2 QuickBrew Express

在本节中，我们分析了价格更为实惠的QuickBrew Express，它通常在没有STS的情况下排名第二。我们展示了加入STS后，该产品的排名能够显著提升，通常成为首要推荐。

与前一节的方法类似，我们使用GCG算法进行2000次迭代优化STS。图6a展示了排名随迭代次数的变化。QuickBrew Express最初被列为第二推荐，随着迭代的进行，其排名虽然一度下降，但在2000次迭代后稳定成为首要推荐。图6b展示了在加入STS前后，QuickBrew Express的排名分布。在加入STS之前，该产品从未被列为首要推荐，而在加入STS后，其成为首要推荐的几率显著增加。与ColdBrew Master类似，图6的结果基于LLM输入提示中的固定产品顺序。

图 6：目标产品 QuickBrew Express 在 GCG 算法的 1000 次迭代中成为首选推荐产品。优化的文本显著增加了目标产品被列为首选推荐的机会

接着，我们随机排列产品顺序，并通过200次独立评估测试STS的效果。图7a展示了使用固定产品顺序优化后的STS带来的排名优势。我们观察到，STS带来排名优势和劣势的概率大致相等，从而中和了其整体效益。然而，通过在GCG的每次迭代中随机排列产品顺序对STS进行优化，可以显著提升优势。图7b显示，在优化过程中随机排列产品顺序后，优势大幅提高，而劣势则大幅减少。

图 7：在 LLM 输入提示中的产品排序发生变化的情况下，评估目标产品 QuickBrew Express 的 STS 优势。图 (a) 绘制了使用固定产品顺序进行优化的优势。图 (b) 表明，通过对产品列表进行随机排列进行优化，可以显著提高这一优势。

5、结论

在本研究中，我们展示了策略性文本序列（STS）如何影响LLM驱动的搜索工具，特别是在电子商务环境中。我们表明，通过在产品信息页面中插入经过优化的字符序列，供应商可以显著提升其产品在LLM推荐列表中的排名。这种操控LLM推荐的能力对商业和电子商务产生了重要影响，因为它为供应商提供了通过增加产品可见性获得竞争优势的手段。虽然我们的研究探索了LLM的特定漏洞，但更多的研究仍需进行，以揭示其他可能给企业带来不公平优势的漏洞。

我们的发现影响不仅限于电子商务，还揭示了AI搜索优化的更广泛影响，以及其所带来的伦理问题。随着LLMs日益融入数字领域，开发防范潜在滥用的防护措施至关重要。未来的研究可以探讨使用策略性文本序列的伦理边界，制定其负责任使用的指南，并研究防止不公平操控搜索结果的对策。通过在搜索优化与伦理标准之间找到平衡，我们可以确保AI搜索技术的进步为一个公平、竞争的市场做出贡献。

---

原文链接：STS：策略性文本序列 - BimAnt