18 LlamaIndex中的配置设置

LlamaIndex中的配置设置

在LlamaIndex的工作流程/应用程序中，配置设置（Settings）是一组在索引和查询阶段常用的资源。你可以使用它来设置全局配置。局部配置（如转换、LLMs、嵌入模型）可以直接传递给使用它们的接口。

Settings是一个简单的单例对象，它在整个应用程序中存在。每当某个组件未提供时，Settings对象会用作全局默认值。

以下是可以配置在Settings对象上的属性：

LLM

LLM用于响应提示和查询，并负责编写自然语言响应。

from llama_index.llms.openai import OpenAI
from llama_index.core import Settings

Settings.llm = OpenAI(model="gpt-3.5-turbo", temperature=0.1)

嵌入模型

嵌入模型用于将文本转换为数值表示，用于计算相似性和top-k检索。

from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.core import Settings

Settings.embed_model = OpenAIEmbedding(
    model="text-embedding-3-small", embed_batch_size=100
)

节点解析器 / 文本分割器

节点解析器 / 文本分割器用于将文档解析为更小的块，称为节点。

from llama_index.core.node_parser import SentenceSplitter
from llama_index.core import Settings

Settings.text_splitter = SentenceSplitter(chunk_size=1024)

如果你只想更改块大小或块重叠而不改变默认分割器，这也是可能的：

Settings.chunk_size = 512
Settings.chunk_overlap = 20

转换

转换在摄取文档期间应用。默认情况下，使用node_parser/text_splitter，但可以覆盖并进一步自定义。

from llama_index.core.node_parser import SentenceSplitter
from llama_index.core import Settings

Settings.transformations = [SentenceSplitter(chunk_size=1024)]

分词器

分词器用于计数标记。这应设置为与你使用的LLM相匹配的东西。

from llama_index.core import Settings

# openai
import tiktoken

Settings.tokenizer = tiktoken.encoding_for_model("gpt-3.5-turbo").encode

# 开源
from transformers import AutoTokenizer

Settings.tokenzier = AutoTokenizer.from_pretrained(
    "mistralai/Mixtral-8x7B-Instruct-v0.1"
)

回调

你可以设置一个全局回调管理器，用于观察和消费在整个llama-index代码中生成的事件。

from llama_index.core.callbacks import TokenCountingHandler, CallbackManager
from llama_index.core import Settings

token_counter = TokenCountingHandler()
Settings.callback_manager = CallbackManager([token_counter])

提示助手参数

一些特定的参数/值在查询期间使用，以确保输入到LLM的提示有足够的空间生成一定数量的标记。

通常这些是使用LLM的属性自动配置的，但在特殊情况下可以覆盖。

from llama_index.core import Settings

# LLM的最大输入大小
Settings.context_window = 4096

# 保留用于文本生成的标记数量
Settings.num_output = 256

提示

学习如何配置特定模块：

• LLM
• 嵌入模型
• 节点解析器/文本分割器
• 回调

设置局部配置

使用特定部分设置的接口也可以接受局部覆盖。

index = VectorStoreIndex.from_documents(
    documents, embed_model=embed_model, transformations=transformations
)

query_engine = index.as_query_engine(llm=llm)

通过这些配置选项，你可以灵活地调整LlamaIndex的行为，以满足你的具体需求。无论是全局设置还是局部覆盖，LlamaIndex都提供了强大的工具来优化你的应用程序。