自定义和使用大语言模型(LLM)指南

简介

随着AI技术的迅猛发展，大语言模型(LLM)在自然语言处理中的应用越来越广泛。本文将介绍如何在LlamaIndex中自定义和使用LLM，包括更换底层模型、调整输出参数、使用HuggingFace模型以及使用自定义模型。

更换底层LLM

默认情况下，LlamaIndex使用OpenAI的gpt-3.5-turbo模型。我们可以更换为其他模型，例如gpt-4。以下是一个示例代码：

from llama_index.core import KeywordTableIndex, SimpleDirectoryReader
from llama_index.llms.openai import OpenAI

documents = SimpleDirectoryReader("data").load_data()

# 定义LLM
llm = OpenAI(temperature=0.1, model="gpt-4")  # 使用gpt-4模型

# 构建索引
index = KeywordTableIndex.from_documents(documents, llm=llm)

# 从查询中获取响应
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do after his time at Y Combinator?")
print(response)

调整输出Token数量

我们可以通过设置max_tokens参数来调整输出的token数量。以下是一个示例代码：

from llama_index.core import KeywordTableIndex, SimpleDirectoryReader
from llama_index.llms.openai import OpenAI
from llama_index.core import Settings

documents = SimpleDirectoryReader("data").load_data()

# 定义全局LLM
Settings.llm = OpenAI(temperature=0, model="gpt-3.5-turbo", max_tokens=512)  # 设置最大输出Token数量为512

# 构建索引
index = KeywordTableIndex.from_documents(documents, llm=Settings.llm)

使用HuggingFace模型

LlamaIndex支持直接使用HuggingFace的LLM。以下是一个示例代码：

from llama_index.core import PromptTemplate
import torch
from llama_index.llms.huggingface import HuggingFaceLLM
from llama_index.core import Settings

# 转换完成字符串为特定输入格式
def completion_to_prompt(completion):
    return f"\n</s>\n\n{completion}</s>\n\n"

# 转换聊天信息为特定输入格式
def messages_to_prompt(messages):
    prompt = ""
    for message in messages:
        if message.role == "system":
            prompt += f"\n{message.content}</s>\n"
        elif message.role == "user":
            prompt += f"\n{message.content}</s>\n"
        elif message.role == "assistant":
            prompt += f"\n{message.content}</s>\n"
    if not prompt.startswith("\n"):
        prompt = "\n</s>\n" + prompt
    prompt = prompt + "\n"
    return prompt

Settings.llm = HuggingFaceLLM(
    model_name="HuggingFaceH4/zephyr-7b-beta",
    tokenizer_name="HuggingFaceH4/zephyr-7b-beta",
    context_window=3900,
    max_new_tokens=256,
    generate_kwargs={"temperature": 0.7, "top_k": 50, "top_p": 0.95},
    messages_to_prompt=messages_to_prompt,
    completion_to_prompt=completion_to_prompt,
    device_map="auto",
)

使用自定义模型

我们还可以使用自定义的LLM模型，只需实现LLM类即可。以下是一个示例代码：

from typing import Optional, List, Mapping, Any
from llama_index.core import SimpleDirectoryReader, SummaryIndex
from llama_index.core.llms import CustomLLM, CompletionResponse, CompletionResponseGen, LLMMetadata
from llama_index.core.llms.callbacks import llm_completion_callback
from llama_index.core import Settings

class OurLLM(CustomLLM):
    context_window: int = 3900
    num_output: int = 256
    model_name: str = "custom"
    dummy_response: str = "My response"

    @property
    def metadata(self) -> LLMMetadata:
        return LLMMetadata(context_window=self.context_window, num_output=self.num_output, model_name=self.model_name)

    @llm_completion_callback()
    def complete(self, prompt: str, **kwargs: Any) -> CompletionResponse:
        return CompletionResponse(text=self.dummy_response)

    @llm_completion_callback()
    def stream_complete(self, prompt: str, **kwargs: Any) -> CompletionResponseGen:
        response = ""
        for token in self.dummy_response:
            response += token
            yield CompletionResponse(text=response, delta=token)

Settings.llm = OurLLM()

documents = SimpleDirectoryReader("./data").load_data()
index = SummaryIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("<query_text>")
print(response)

可能遇到的错误

1. 模型加载失败：如果模型名称或路径不正确，可能会导致模型加载失败。请确保模型名称和路径正确无误。
2. API调用错误：在调用OpenAI或其他API时，可能会遇到网络问题或API调用限制。建议检查网络连接并合理使用API调用频率。

如果你觉得这篇文章对你有帮助，请点赞，关注我的博客，谢谢!