Ask Large Language Models Not to Give Off-Topic Answers in Open Domain Multi-Hop Question Answering

本文是LLM系列文章，针对《Dr3: Ask Large Language Models Not to Give Off-Topic Answers in
Open Domain Multi

摘要

开放域多跳问答（ODMHQA）在自然语言处理（NLP）中发挥着至关重要的作用，其目的是通过对外部知识源中检索到的信息进行多步骤推理来回答复杂的问题。最近，大型语言模型（LLM）由于其包括规划、推理和利用工具在内的能力，在解决ODMHQA方面表现出了显著的性能。然而，LLM在试图解决ODMHQA时可能会生成偏离主题的答案，即生成的答案与原始问题无关。这一问题的离题答案约占错误答案的三分之一，尽管意义重大，但仍未得到充分挖掘。为了缓解这个问题，我们提出了判别→重新组合→重新求解→重新分解（Dr3）机制。具体来说，鉴别器利用LLM的内在能力来判断生成的答案是否偏离主题。在检测到偏离主题的答案的情况下，校正器沿着相反的推理链（重新组合→重新求解→重新分解）执行逐步修正，直到最终答案成为主题。在HotpotQA和2WikiMultiHopQA数据集上的实验结果表明，与没有Dr3机制的基线方法相比，我们的Dr3机制大大减少了ODMHQA中偏离主题答案的发生率近13%，将精确匹配（EM）的性能提高了近3%。