LlamaIndex 与 LangChain 结合：大模型个性化 Prompt 模板使用指南_在llamaindex prompttemplate 问答模板-CSDN博客

本文链接：https://blog.csdn.net/The_Thieves/article/details/147034030

引言

在大模型应用开发中，如何让模型更好地理解我们的需求并给出准确的回答是一个关键问题。LlamaIndex 和 LangChain 为我们提供了强大的工具来实现这一目标。本文将详细介绍如何在 LlamaIndex 中使用 LangChain 支持的大模型，并深入探讨个性化 Prompt 模板的设置和使用。

环境准备与大模型集成

引入必要的库

要在 LlamaIndex 中使用 LangChain 支持的大模型，首先需要引入相关的库。示例代码展示了如何引入LangChainLLM和baidu_qianfan_endpoint：

python

from llama_index.llms.langchain import LangChainLLM
from langchain_community.llms import baidu_qianfan_endpoint

初始化大模型

接着，我们可以初始化一个大模型实例。这里以百度千帆的ERNIE - Bot - 4为例：

python

llm = LangChainLLM(llm=baidu_qianfan_endpoint(model="ERNIE-Bot-4"))

设置全局 LLM

为了让 LlamaIndex 使用我们初始化的大模型，需要设置全局的 LLM：

python

from llama_index.core import Settings
Settings.llm = llm

Prompt 模板基础

创建 Prompt 模板

在进行问答任务时，我们可以使用 Prompt 模板来组织输入信息。以下是一个简单的 Prompt 模板示例：

python

from llama_index.core import PromptTemplate

template = (
    "以下是提供的上下文信息:\n"
    "-------------------\n"
    "{context_str}"
    "\n-----------------\n"
    "根据这些信息，请回答一下问题:{query_str}\n"
)

qa_template = PromptTemplate(template)

实例化 Prompt 模板

通过format或者format_messages方法可以将模板进行实例化。

format方法会把模板转换为普通字符串，通常用于大模型做简单的一次性查询：

python

prompt = qa_template.format(context_str="xxx", query_str="xx")

format_messages方法会把模板转换为chatmessage封装类型，通常用于对话模型中的连续上下文多轮对话：

python

messages = qa_template.format_messages(context_str="xxx", query_str="xx")

查询与更新 Prompt 模板

查询现有模板

在实际应用中，我们可能需要查看当前查询引擎使用的 Prompt 模板。可以通过以下方式获取：

python

# 假设已经有了index对象
query_engine = index.as_query_engine()
prompts_dict = query_engine.get_prompts()

更新 Prompt 模板

如果现有的模板不能满足需求，我们可以更新它。例如，我们可以定义一个新的模板字符串，并将其转换为PromptTemplate对象，然后更新查询引擎的模板：

python

my_qa_prompt_template_str = (
    "以下是提供的上下文信息:\n"
    "-------------------\n"
    "{context_str}"
    "\n-----------------\n"
    "根据上下文信息回答问题，不要依赖预置知识，不要编造\n"
    "问题:{query_str}\n"
    "回答:"
)
my_qa_prompt_template = PromptTemplate(my_qa_prompt_template_str)
query_engine.update_prompts(
    {"response_synthesize:text_qa_template": my_qa_prompt_template}
)

在初始化时传入模板

除了更新模板，我们还可以在组件初始化时直接传入需要使用的 Prompt 模板。例如，修改查询引擎的参数：

python

query_engine = index.as_query_engine(text_qa_template=my_qa_prompt_template)

个性化 Prompt 模板的高级设置

变量映射

在设置自己的个性化 Prompt 模板时，不能随意修改模板的变量名称。如果需要修改，需要借助template_var_mappings。例如：

python

my_qa_prompt_template_str = (
    "以下是提供的上下文信息:\n"
    "-------------------\n"
    "{my_context_str}"
    "\n-----------------\n"
    "根据上下文信息回答问题，不要依赖预置知识，不要编造\n"
    "问题:{my_query_str}\n"
    "回答:"
)
template_var_mappings = {"context_str": "my_context_str", "query_str": "my_query_str"}
my_qa_prompt_template = PromptTemplate(my_qa_prompt_template_str, template_var_mappings=template_var_mappings)

函数映射

更进一步，我们可以把context_str通过function_mappings映射到一个函数上。例如：

python

def fn_context_str(**kwargs):
    # 自定义逻辑
    fmtted_context = "处理后的上下文信息"
    return fmtted_context

prompt_template = PromptTemplate(qa_template_str, function_mappings={"context_str": fn_context_str})

总结

通过本文的介绍，我们了解了如何在 LlamaIndex 中集成 LangChain 支持的大模型，以及如何使用和定制个性化的 Prompt 模板。合理使用 Prompt 模板可以让大模型更好地理解我们的需求，提高回答的准确性和质量。在实际应用中，我们可以根据具体的任务和场景，灵活运用这些技巧，打造出更强大的大模型应用。希望本文对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言讨论。