无缝集成：将LangChain完美适配至ChatGLM-zhipu API

最新推荐文章于 2024-09-20 01:38:08 发布

大飞攻城狮

最新推荐文章于 2024-09-20 01:38:08 发布

阅读量1.4k

点赞数 16

文章标签： langchain 人工智能学习 AI大模型产品经理 AI

本文链接：https://blog.csdn.net/m0_63171455/article/details/140654227

版权

前言

前段时间智谱AI推出了新一代LLM-GLM4，随之而来智谱AI发布了新版本[API SDKv4]
由于最近我在自研自己的智能摘要平台，除了OpenAI，想着也能接入我们自己国产大模型之光GLM，一个调用方便，一个是为了降低Token成本🤭。GLM4和GLM3-turbo经过Prompt实测能达到我们智能摘要要求（这项测试后面再进行分享）。
接下来就是要集成进应用，目前大模型的应用开发框架，Langchain无疑是最热的一个。 LangChain经过23年一年的开发，1月初发布了v0.1.0第一个稳定版本，将Langchain划分为三块

LangChain
LangChain-Community
LangChain-Core

目前第三方实现，都集中在LangChain-Community这个库中，马上我就搜索了一下有没有ZhipuAI这个第三方实现，一看还真有 [Zhipu AI]

一. 问题

根据文档，编写测试代码操作

from langchain_community.chat_models import ChatZhipuAI

model = ChatZhipuAI(
    model="chatglm_turbo",
    api_key="xxxx",
)

print(model.invoke("hello, what today is today?"))

测试发现报错

发现缺少了model_api，联想到Zhipu AI发布了新的API v4版本新SDK，我猜测应该是LangChain-Community上面的ChatZhipuAI适配的应该是v3版本的SDK

验证猜测

查看LangChain源码

# file: langchain_community/chat_models/zhipuai.py

def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        try:
            import zhipuai

            self.zhipuai = zhipuai
            self.zhipuai.api_key = self.zhipuai_api_key
        except ImportError:
            raise RuntimeError(
                "Could not import zhipuai package. "
                "Please install it via 'pip install zhipuai'"
            )

这里发现导入zhipuai这个库，再看一下zhipuai这个库[PyPi文档]

这里发现新版本zhipuai最新是2.0.1版本，调用方法和都已经发生了变化，明显是2.0版本不再兼容之前的1.0版本了，所以LangChain上的ChatZhipuAI 不能用了，要想使用只能自己动手适配🔧。

为了提高大家的排错效率，避免重复踩坑，我也给LangChain提了[issue]（开源自觉）

注：啰嗦介绍了背景和问题一大堆，其实也是给大家提供一个发现问题定位问题的一个思路😊

二. 适配

LangChain框架对底层的LLM已经封装好了，我们自定义的ChatModel只要继承BaseChatModel,实现相关抽象方法即可。

class BaseChatModel(BaseLanguageModel[BaseMessage], ABC):
    ...
    @abstractmethod
    def _generate(
        self,
        messages: List[BaseMessage],
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
        **kwargs: Any,
    ) -> ChatResult:
        """Top Level call"""
    @property
    @abstractmethod
    def _llm_type(self) -> str:
        """Return type of chat model."""

有个好的建议，我们可以参考Langchain很多已实现的库，如ChatOpenAI。接下来就实现我们的ChatZhipuAI

class ChatZhipuAI(BaseChatModel):
    ...
    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        try:
            from zhipuai import ZhipuAI

            if not is_zhipu_v2():
                raise RuntimeError(
                    "zhipuai package version is too low"
                    "Please install it via 'pip install --upgrade zhipuai'"
                )

            self.client = ZhipuAI(
                api_key=self.zhipuai_api_key,  # 填写您的 APIKey
            )
        except ImportError:
            raise RuntimeError(
                "Could not import zhipuai package. "
                "Please install it via 'pip install zhipuai'"
            )
     def _generate(
        self,
        messages: List[BaseMessage],
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
        stream: Optional[bool] = None,
        **kwargs: Any,
    ) -> ChatResult:
        """Generate a chat response."""

        should_stream = stream if stream is not None else self.streaming
        if should_stream:
            stream_iter = self._stream(
                messages, stop=stop, run_manager=run_manager, **kwargs
            )
            return generate_from_stream(stream_iter)

        message_dicts, params = self._create_message_dicts(messages, stop)
        params = {
            **params,
            **({"stream": stream} if stream is not None else {}),
            **kwargs,
        }
        response = self.completion_with_retry(
            messages=message_dicts, run_manager=run_manager, **params
        )
        return self._create_chat_result(response)

这里在__init__的时候，加了一个V2版本的判断，剩下就是实现_generate方法。Langchain支持同步异步、流式、批量等等多种操作，我们根据[zhipuai SDK说明](和Langchain库一一实现即可。（详细代码我后面有介绍）

测试验证

from langchain_community.chat_models import ChatZhipuAI

zhipuai_chat = ChatZhipuAI(
    temperature=0.5,
    api_key="your-api-key",
    model_name="glm-3-turbo",
)

print(model.invoke("hello, what today is today?"))

成功～🎉

三. 提交LangChain

问题

在提交进行流水线检查时，发现单元测试没过，仔细检查发现原来遇到了版本冲突

Because no versions of zhipuai match >2.0.1,<3.0.0 and zhipuai (2.0.1) depends on pydantic (>=2.5.2), zhipuai (>=2.0.1,<3.0.0) requires pydantic (>=2.5.2). And because javelin-sdk (0.1.8) depends on pydantic (>=1.10.7,<2.0.0) and no versions of javelin-sdk match >0.1.8,<0.2.0, zhipuai (>=2.0.1,<3.0.0) is incompatible with javelin-sdk (>=0.1.8,<0.2.0). So, because langchain-community depends on both javelin-sdk (^0.1.8) and zhipuai (^2.0.1), version solving failed.

这是由于zhipuai 依赖的pydantic版本太高和Langchain中集成的三方库有版本依赖冲突。 LangChain推荐采用pydantic 1.0+。

同时顺手也给zhipuai API SDK提了一个[issue] 😊

最后

截止发文前，版本依赖冲突还没有解决，观察后续的进展，有需要的同学可以自己先自定义本地集成进项目。

目前我正在制作研发的开源智能摘要应用-帝阅DeepRead，支持ChatGPT、ChatGLM，即将上线这是一款主打智能摘要的应用，目标是成为你的智能侍读助理，帮助你提升阅读效率，归纳收集各类好文。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述