打造自定义聊天模型：用LangChain轻松实现

llzwxh888

于 2024-10-09 19:19:53 发布

阅读量125

点赞数 2

文章标签： langchain windows python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142794337

版权

打造自定义聊天模型：用LangChain轻松实现

引言

随着人工智能的不断发展，构建自定义聊天模型变得更加重要和实用。在这篇文章中，我们将探讨如何使用LangChain创建一个自定义的聊天模型。通过将你的LLM封装为标准BaseChatModel接口，你可以在现有的LangChain程序中使用你的模型，并获得自动优化的好处，如批处理、异步支持等。

主要内容

输入与输出

在创建聊天模型之前，我们需要理解“消息”，这是聊天模型的主要输入和输出。

消息类型

LangChain包括了一些内置的消息类型：

SystemMessage：用于初始化AI的行为。
HumanMessage：用户发送的信息。
AIMessage：AI模型返回的信息。
FunctionMessage/ToolMessage：传回工具调用结果的信息。
AIMessageChunk/HumanMessageChunk：每种消息类型的分块变体，用于流式输出。

这些消息类型可以帮助我们更有序地处理各种输入和输出。

基础聊天模型

我们将实现一个简单的聊天模型，该模型返回最后一条消息的前n个字符。以下是主要方法的介绍：

_generate：用于从提示生成聊天结果的必需方法。
_llm_type：唯一标识模型类型的必需属性。
_identifying_params：用于跟踪目的的可选属性。
_stream, _agenerate, _astream：流式处理和异步支持的方法。

代码示例

下面是一个完整的示例，展示如何实现和使用自定义聊天模型：

from typing import Any, Optional, List, Dict, Iterator
from langchain_core.language_models import BaseChatModel
from langchain_core.messages import AIMessage, BaseMessage, HumanMessage
from langchain_core.outputs import ChatResult, ChatGeneration
from langchain_core.callbacks import CallbackManagerForLLMRun


class CustomChatModel(BaseChatModel):
    """自定义聊天模型，返回输入最后一条消息的前 `n` 个字符."""

    model_name: str
    n: int

    def _generate(
        self,
        messages: List[BaseMessage],
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
        **kwargs: Any,
    ) -> ChatResult:
        last_message = messages[-1]
        tokens = last_message.content[: self.n]
        message = AIMessage(content=tokens)
        generation = ChatGeneration(message=message)
        return ChatResult(generations=[generation])

    @property
    def _llm_type(self) -> str:
        return "echoing-chat-model"

    @property
    def _identifying_params(self) -> Dict[str, Any]:
        return {"model_name": self.model_name}


# 测试模型
model = CustomChatModel(n=3, model_name="my_custom_model")
result = model.invoke([HumanMessage(content="hello!")])
print(result.generations[0].message.content)  # 输出: 'hel'