思维线索(Thread of Thought)-ThoT梳理混乱的语境

lichunericli

已于 2024-05-03 02:43:20 修改

阅读量658

点赞数 22

分类专栏：提示词工程文章标签：人工智能自然语言处理

于 2024-03-20 18:13:15 首次发布

本文链接：https://blog.csdn.net/lichunericli/article/details/136884884

版权

提示词工程专栏收录该内容

12 篇文章 0 订阅

订阅专栏

论文地址：Thread of Thought Unraveling Chaotic Contexts

摘要

大型语言模型（LLMs）在自然语言处理领域开启了一个变革的时代，在文本理解和生成任务上表现出色。然而，当面对混乱的上下文环境（例如，干扰项而不是长的无关上下文）时，它们会遇到困难，导致无意中忽略了混乱上下文中的某些细节。为了应对这些挑战，我们引入了“思维线索”（Thread of Thought，ThoT）策略，该策略受到人类认知过程的启发。ThoT策略能够系统地分段和分析扩展的上下文，同时巧妙地选择相关信息。这个策略作为一个多功能的“即插即用”模块，可以与各种LLMs和提示技术无缝集成。在实验中，我们使用了PopQA和EntityQ数据集，以及我们收集的多轮对话响应数据集（MTCR），来说明ThoT策略在推理性能上显著优于其他提示技术。

Introduction

LLMs在人工智能领域，特别是在自然语言理解和生成方面取得的显著进展。这些模型在多项自然语言处理任务中展示了卓越的能力，如情感分析、机器翻译和摘要生成等，并在法律咨询和医疗诊断等行业中发挥着重要作用。

然而，尽管LLMs在处理长文本和复杂对话场景中表现出色，但它们在面对“混乱上下文”（Chaotic Contexts）时仍面临挑战。所谓的混乱上下文是指输入文本中包含大量来自不同来源的信息，这些信息可能是相互关联的，也可能是完全不相关的，且某些信息的重要性会根据上下文的不同而变化。这与“长上下文”（Long Context）不同，混乱上下文更强调信息的复杂性和数量，而不仅仅是文本的长度。

为了解决这一问题，提出了“思维线索”（Thread of Thought，简称ThoT）策略。ThoT策略的灵感来源于人类的认知过程，它使LLMs能够系统地分段和分析扩展的上下文，并从中选择相关的信息。这种策略旨在作为一个通用的“即插即用”模块，与各种预训练的语言模型和提示技术无缝集成，而不需要复杂的重新训练或微调。

ThoT策略的优势，包括其简单性、通用性和效率，通过ThoT策略，LLMs可以更好地管理和解释大量信息，从而在复杂的问题解答和对话生成任务中取得更好的性能。

Methodology

Thread of Thought 旨在增强大型语言模型（LLMs）在处理混乱上下文时的推理能力。

第一步：启动推理过程

ThoT策略的第一步是通过一个特定的提示（prompt）来引导LLMs对上下文进行分析性解构。这个提示是“Walk me through this context in manageable parts step by step, summarizing and analyzing as we go”，意为“逐步引导我浏览这个上下文的可管理部分，边总结边分析”。这个提示被设计为触发句（trigger sentence），用于启动推理过程。

作者提出了一个模板，将混乱的上下文X和查询Q整合到提示P中，格式为“[X] Q: [Q] [T] A:”，其中[T]代表触发推理过程的触发句。例如，使用上述触发句作为[T]，提示P变为“[X] Q: [Q] Walk me through this context in manageable parts step by step, summarizing and analyzing as we go. A:”。然后将这个提示文本P输入到LLMs中，生成后续句子Z。这个过程模仿了人类面对复杂信息时采用的认知策略，即把信息分解成易于理解的部分，提炼关键点，并持续关注地浏览材料。

第二步：提炼结论

ThoT策略的第二步是在第一步建立的结构化推理基础上，使用另一个提示来将分析提炼成一个明确的答案。这一步的目标是利用第一步触发的有序思考序列，简洁地捕捉结论的本质。具体来说，作者使用了一个简单的模板来结合初始提示文本P、响应Z和结论标记[A]，格式为“[P] [Z] [A]”，其中[A]是设计用来提取答案的触发句，例如“Therefore, the answer:”。

这个提取提示（extraction prompt）促使模型在分析中筛选，隔离出主要结论作为最终答案。该提示的设计是一种策略，旨在提高模型的专注力，促进回答的精确性和明确性。这种双层提示系统有效地解决了以往方法的局限性，同时避免了对模型进行密集的重新训练或复杂修改的需要。

核心优势

ThoT策略的核心优势在于其简单性和高效性。它作为一种“即插即用”的模块，可以与各种预训练的语言模型和提示策略无缝集成，避免了复杂的程序。此外，ThoT不仅提高了LLMs在混乱上下文中的性能，还增强了它们的推理能力。

Conclusion

本文提出了一种名为“思维线索”（Thread of Thought，ThoT）的新策略，旨在提高大型语言模型（LLMs）在处理混乱上下文信息时的性能。ThoT受人类认知过程的启发，显著提升了LLMs分段和分析扩展上下文的能力。我们将ThoT与现有方法进行了比较，后者通常需要复杂的重新训练、微调，或者在处理大量复杂信息时存在局限性。相比之下，ThoT提供了一个更为直接和高效的解决方案。它作为一个“即插即用”的模块，可以与各种预训练的语言模型和提示策略无缝集成，无需复杂的程序。ThoT的有效性通过使用长尾问答数据集（如PopQA和EntityQ）以及基于日常对话的多轮对话响应数据集进行了严格测试。这些评估的结果是明确的：ThoT不仅在处理混乱上下文方面表现出色，而且还增强了LLMs的推理能力。