使用Langchain与LiteLLM Router有效调用多家AI平台API

本文链接：https://blog.csdn.net/awsedrfttyuu/article/details/144632602

使用Langchain与LiteLLM Router有效调用多家AI平台API

引言

在人工智能应用的开发过程中，我们常常需要调用不同平台的语言模型API，如Anthropic、Azure、Huggingface等。然而，每个平台的API调用方式各不相同，代码管理和维护会变得复杂。LiteLLM库简化了这一过程，使得AI调用变得高效和易于扩展。本文将介绍如何结合Langchain和LiteLLM Router进行多平台AI调用。

主要内容

LiteLLM Router简介

LiteLLM是一个简化多平台AI API调用的Python库。通过配置模型列表和必要的API参数，我们可以轻松调用不同平台的语言模型。LiteLLM Router结合了这些API调用，形成一个统一的接口，方便开发者在不同平台间切换。

配置与使用

首先，准备好所需平台的API密钥和端点信息。接下来，通过定义模型列表（model_list）来初始化LiteLLM Router。

from litellm import Router

model_list = [
    {
   
        "model_name": "gpt-4",
        "litellm_params": {
   
            "model": "azure/gpt-4-1106-preview",
            "api_key": "<your-api-key>",  # 替换为你的API密钥
            "api_version": "2023-05-15",
            "api_base": "https://<your-endpoint>.openai.azure.com/"