109 深入解析Llama Index的Pydantic程序生成器 llamaindex.core.program.utils-CSDN博客

本文链接：https://blog.csdn.net/xycxycooo/article/details/141643893

深入解析Llama Index的Pydantic程序生成器

在自然语言处理（NLP）领域，Llama Index 是一个强大的工具，用于构建和处理复杂的语言模型。本文将深入探讨 Llama Index 中的 get_program_for_llm 函数，并通过详细的代码示例和技术解释，帮助你全面理解其工作原理及实际应用。

前置知识

在深入探讨之前，我们需要了解一些基本概念：

LLM（Language Model）：语言模型，用于理解和生成自然语言。
Prompt：提示，用于指导语言模型生成特定类型的输出。
Pydantic：一个数据验证和设置管理的库，用于定义和验证数据模型。
Pydantic Program：基于Pydantic的程序，用于处理和生成结构化数据。

代码解析

以下是我们要解析的代码：

def get_program_for_llm(
    output_cls: BaseModel,
    prompt: PromptTemplate,
    llm: LLM,
    pydantic_program_mode: PydanticProgramMode = PydanticProgramMode.DEFAULT,
    **kwargs: Any,
) -> BasePydanticProgram:
    """Get a program based on the compatible LLM."""
    if pydantic_program_mode == PydanticProgramMode.DEFAULT:
        if llm.metadata.is_function_calling_model:
            from llama_index.core.program.function_program import FunctionCallingProgram

            return FunctionCallingProgram.from_defaults(
                output_cls=output_cls,
                llm=llm,
                prompt=prompt,
                **kwargs,
            )
        else:
            from llama_index.core.program.llm_program import (
                LLMTextCompletionProgram,
            )

            return LLMTextCompletionProgram.from_defaults(
                output_parser=PydanticOutputParser(output_cls=output_cls),
                llm=llm,
                prompt=prompt,
                **kwargs,
            )
    elif pydantic_program_mode == PydanticProgramMode.OPENAI:
        from llama_index.program.openai import (
            OpenAIPydanticProgram,
        )  # pants: no-infer-dep

        return OpenAIPydanticProgram.from_defaults(
            output_cls=output_cls,
            llm=llm,
            prompt=prompt,
            **kwargs,
        )
    elif pydantic_program_mode == PydanticProgramMode.FUNCTION:
        from llama_index.core.program.function_program import FunctionCallingProgram

        return FunctionCallingProgram.from_defaults(
            output_cls=output_cls,
            llm=llm,
            prompt=prompt,
            **kwargs,
        )

    elif pydantic_program_mode == PydanticProgramMode.LLM:
        from llama_index.core.program.llm_program import LLMTextCompletionProgram

        return LLMTextCompletionProgram.from_defaults(
            output_parser=PydanticOutputParser(output_cls=output_cls),
            llm=llm,
            prompt=prompt,
            **kwargs,
        )
    elif pydantic_program_mode == PydanticProgramMode.LM_FORMAT_ENFORCER:
        try:
            from llama_index.program.lmformatenforcer import (
                LMFormatEnforcerPydanticProgram,
            )  # pants: no-infer-dep
        except ImportError:
            raise ImportError(
                "This mode requires the `llama-index-program-lmformatenforcer package. Please"
                " install it by running `pip install llama-index-program-lmformatenforcer`."
            )

        return LMFormatEnforcerPydanticProgram.from_defaults(
            output_cls=output_cls,
            llm=llm,
            prompt=prompt,
            **kwargs,
        )
    else:
        raise ValueError(f"Unsupported pydantic program mode: {pydantic_program_mode}")

代码结构

函数定义：get_program_for_llm 函数定义了一系列参数，用于配置Pydantic程序。
条件分支：根据 pydantic_program_mode 参数的不同值，函数返回不同类型的Pydantic程序实例。

参数解析

output_cls：输出类的类型，用于定义输出数据的结构。
prompt：提示模板，用于指导语言模型生成特定类型的输出。
llm：语言模型实例，用于生成文本。
pydantic_program_mode：Pydantic程序模式，决定使用哪种Pydantic程序。
kwargs：其他可选参数。

条件分支解析

默认模式

if pydantic_program_mode == PydanticProgramMode.DEFAULT:
    if llm.metadata.is_function_calling_model:
        from llama_index.core.program.function_program import FunctionCallingProgram

        return FunctionCallingProgram.from_defaults(
            output_cls=output_cls,
            llm=llm,
            prompt=prompt,
            **kwargs,
        )
    else:
        from llama_index.core.program.llm_program import (
            LLMTextCompletionProgram,
        )

        return LLMTextCompletionProgram.from_defaults(
            output_parser=PydanticOutputParser(output_cls=output_cls),
            llm=llm,
            prompt=prompt,
            **kwargs,
        )

如果 pydantic_program_mode 是 DEFAULT，则根据语言模型是否支持函数调用，选择不同的Pydantic程序。
如果支持函数调用，则返回 FunctionCallingProgram。
否则，返回 LLMTextCompletionProgram。

OpenAI模式

elif pydantic_program_mode == PydanticProgramMode.OPENAI:
    from llama_index.program.openai import (
        OpenAIPydanticProgram,
    )  # pants: no-infer-dep

    return OpenAIPydanticProgram.from_defaults(
        output_cls=output_cls,
        llm=llm,
        prompt=prompt,
        **kwargs,
    )

如果 pydantic_program_mode 是 OPENAI，则返回 OpenAIPydanticProgram。

函数调用模式

elif pydantic_program_mode == PydanticProgramMode.FUNCTION:
    from llama_index.core.program.function_program import FunctionCallingProgram

    return FunctionCallingProgram.from_defaults(
        output_cls=output_cls,
        llm=llm,
        prompt=prompt,
        **kwargs,
    )

如果 pydantic_program_mode 是 FUNCTION，则返回 FunctionCallingProgram。

LLM模式

elif pydantic_program_mode == PydanticProgramMode.LLM:
    from llama_index.core.program.llm_program import LLMTextCompletionProgram

    return LLMTextCompletionProgram.from_defaults(
        output_parser=PydanticOutputParser(output_cls=output_cls),
        llm=llm,
        prompt=prompt,
        **kwargs,
    )

如果 pydantic_program_mode 是 LLM，则返回 LLMTextCompletionProgram。

LM格式强制模式

elif pydantic_program_mode == PydanticProgramMode.LM_FORMAT_ENFORCER:
    try:
        from llama_index.program.lmformatenforcer import (
            LMFormatEnforcerPydanticProgram,
        )  # pants: no-infer-dep
    except ImportError:
        raise ImportError(
            "This mode requires the `llama-index-program-lmformatenforcer package. Please"
            " install it by running `pip install llama-index-program-lmformatenforcer`."
        )

    return LMFormatEnforcerPydanticProgram.from_defaults(
        output_cls=output_cls,
        llm=llm,
        prompt=prompt,
        **kwargs,
    )

如果 pydantic_program_mode 是 LM_FORMAT_ENFORCER，则返回 LMFormatEnforcerPydanticProgram。
如果缺少相关依赖包，则抛出 ImportError。

不支持的模式

else:
    raise ValueError(f"Unsupported pydantic program mode: {pydantic_program_mode}")

如果 pydantic_program_mode 是不支持的模式，则抛出 ValueError。

实际应用

以下是一个简单的示例，展示如何使用 get_program_for_llm 函数：

from llama_index.core.llms import OpenAI
from llama_index.core.prompts import PromptTemplate
from llama_index.core.types import BaseModel
from llama_index.core.program.pydantic_program import PydanticProgramMode

# 定义输出类
class MyOutput(BaseModel):
    answer: str
    confidence: float

# 初始化语言模型
llm = OpenAI(model="gpt-3.5-turbo")

# 定义提示模板
prompt = PromptTemplate("Question: {question}\nContext: {context}")

# 获取Pydantic程序
program = get_program_for_llm(
    output_cls=MyOutput,
    prompt=prompt,
    llm=llm,
    pydantic_program_mode=PydanticProgramMode.DEFAULT
)

# 使用Pydantic程序生成响应
response = program(question="What is the capital of France?", context="The capital of France is Paris.")

print(response)