70 LlamaIndex Refine 模式中的结构化答案过滤：提升响应准确性

LlamaIndex Refine 模式中的结构化答案过滤：提升响应准确性

在信息处理过程中，确保响应的准确性和相关性是至关重要的。LlamaIndex 的 Refine 模式提供了一种强大的工具，通过结构化答案过滤（Structured Answer Filtering）来解决这一问题。本文将深入探讨如何在 Refine 模式中启用结构化答案过滤，并通过实战示例展示其效果。

一、问题背景

在使用 Refine 模式进行响应合成时，经常会遇到一个棘手的问题：单个无用的响应（如“我不知道”）可能会在整个合成过程中传播，导致最终答案也是无用的。即使其他更相关的部分包含实际答案，这种情况也可能发生。

二、解决方案：结构化答案过滤

通过设置 structured_answer_filtering 为 True，可以有效过滤掉这些无用的响应。默认情况下，该选项为 False，因为它目前最适用于支持函数调用的 OpenAI 模型。

三、安装与配置

首先，我们需要安装 LlamaIndex 并配置 OpenAI API 密钥：

# 安装 LlamaIndex
%pip install llama-index-llms-openai
!pip install llama-index

# 设置 OpenAI API 密钥
import os
os.environ["OPENAI_API_KEY"] = "sk-..."

四、加载数据

准备一些示例文本数据：

texts = [
    "The president in the year 2040 is John Cena.",
    "The president in the year 2050 is Florence Pugh.",
    'The president in the year 2060 is Dwayne "The Rock" Johnson.',
]

五、使用 Refine 模式进行响应合成

首先，我们尝试不启用结构化答案过滤：

from llama_index.llms.openai import OpenAI
from llama_index.core import get_response_synthesizer

llm = OpenAI(model="gpt-3.5-turbo-0613")
summarizer = get_response_synthesizer(
    response_mode="refine", llm=llm, verbose=True
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)

输出结果可能如下：

I'm sorry, but I don't have access to information about the future.

六、启用结构化答案过滤

接下来，我们启用结构化答案过滤，再次尝试：

summarizer = get_response_synthesizer(
    response_mode="refine",
    llm=llm,
    verbose=True,
    structured_answer_filtering=True,
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)

输出结果应为：

Florence Pugh

七、非函数调用 LLM 的支持

即使使用的 LLM 不支持函数调用，Refine 模块也会自动切换到使用结构化输出程序，不依赖外部函数调用 API：

instruct_llm = OpenAI(model="gpt-3.5-turbo-instruct")
summarizer = get_response_synthesizer(
    response_mode="refine",
    llm=instruct_llm,
    verbose=True,
    structured_answer_filtering=True,
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)

输出结果应为：

Florence Pugh

八、CompactAndRefine 模式的支持

由于 CompactAndRefine 模式建立在 Refine 模式之上，因此也支持结构化答案过滤：

summarizer = get_response_synthesizer(
    response_mode="compact",
    llm=instruct_llm,
    verbose=True,
    structured_answer_filtering=True,
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)

输出结果应为：

Florence Pugh

九、总结

通过启用结构化答案过滤，LlamaIndex 的 Refine 模式能够有效提升响应的准确性和相关性。本文通过实战示例展示了如何在 Refine 模式中启用这一功能，并介绍了其在不同 LLM 和模式下的应用。

参考文献：

• LlamaIndex Documentation
• OpenAI Documentation

扩展阅读：

• 自然语言处理中的响应合成技术
• 异步编程在 Python 中的应用

希望这篇博客能为你带来启发和帮助，让我们在信息处理的世界里，更加高效地驾驭 Refine 模式和结构化答案过滤技术！