LlamaIndex Refine 模式中的结构化答案过滤:提升响应准确性
在信息处理过程中,确保响应的准确性和相关性是至关重要的。LlamaIndex 的 Refine
模式提供了一种强大的工具,通过结构化答案过滤(Structured Answer Filtering)来解决这一问题。本文将深入探讨如何在 Refine
模式中启用结构化答案过滤,并通过实战示例展示其效果。
一、问题背景
在使用 Refine
模式进行响应合成时,经常会遇到一个棘手的问题:单个无用的响应(如“我不知道”)可能会在整个合成过程中传播,导致最终答案也是无用的。即使其他更相关的部分包含实际答案,这种情况也可能发生。
二、解决方案:结构化答案过滤
通过设置 structured_answer_filtering
为 True
,可以有效过滤掉这些无用的响应。默认情况下,该选项为 False
,因为它目前最适用于支持函数调用的 OpenAI 模型。
三、安装与配置
首先,我们需要安装 LlamaIndex 并配置 OpenAI API 密钥:
# 安装 LlamaIndex
%pip install llama-index-llms-openai
!pip install llama-index
# 设置 OpenAI API 密钥
import os
os.environ["OPENAI_API_KEY"] = "sk-..."
四、加载数据
准备一些示例文本数据:
texts = [
"The president in the year 2040 is John Cena.",
"The president in the year 2050 is Florence Pugh.",
'The president in the year 2060 is Dwayne "The Rock" Johnson.',
]
五、使用 Refine 模式进行响应合成
首先,我们尝试不启用结构化答案过滤:
from llama_index.llms.openai import OpenAI
from llama_index.core import get_response_synthesizer
llm = OpenAI(model="gpt-3.5-turbo-0613")
summarizer = get_response_synthesizer(
response_mode="refine", llm=llm, verbose=True
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)
输出结果可能如下:
I'm sorry, but I don't have access to information about the future.
六、启用结构化答案过滤
接下来,我们启用结构化答案过滤,再次尝试:
summarizer = get_response_synthesizer(
response_mode="refine",
llm=llm,
verbose=True,
structured_answer_filtering=True,
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)
输出结果应为:
Florence Pugh
七、非函数调用 LLM 的支持
即使使用的 LLM 不支持函数调用,Refine
模块也会自动切换到使用结构化输出程序,不依赖外部函数调用 API:
instruct_llm = OpenAI(model="gpt-3.5-turbo-instruct")
summarizer = get_response_synthesizer(
response_mode="refine",
llm=instruct_llm,
verbose=True,
structured_answer_filtering=True,
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)
输出结果应为:
Florence Pugh
八、CompactAndRefine 模式的支持
由于 CompactAndRefine
模式建立在 Refine
模式之上,因此也支持结构化答案过滤:
summarizer = get_response_synthesizer(
response_mode="compact",
llm=instruct_llm,
verbose=True,
structured_answer_filtering=True,
)
response = summarizer.get_response("who is president in the year 2050?", texts)
print(response)
输出结果应为:
Florence Pugh
九、总结
通过启用结构化答案过滤,LlamaIndex 的 Refine
模式能够有效提升响应的准确性和相关性。本文通过实战示例展示了如何在 Refine
模式中启用这一功能,并介绍了其在不同 LLM 和模式下的应用。
参考文献:
扩展阅读:
希望这篇博客能为你带来启发和帮助,让我们在信息处理的世界里,更加高效地驾驭 Refine
模式和结构化答案过滤技术!