[提升AI应用稳定性：实现LLM API调用的降级机制]

# 提升AI应用稳定性：实现LLM API调用的降级机制

## 引言

在使用大型语言模型（LLM）开发应用时，API调用失败是常见的问题。这可能由限速、停机等多种原因导致。为了确保应用在生产环境中的可靠性，设计降级机制尤为重要。本文将深入探讨如何在整个可运行层面上实现降级，而不仅仅局限于单一LLM。

## 主要内容

### 降级机制概述

降级机制是应急情况下的备用方案。对于不同模型需要不同的提示模板，因此不能简单地将一个失败的调用发送给另一个API。

### LLM API错误的降级

尝试调用语言模型API时，可能因API故障或限速而失败。使用降级机制可以有效地避免这些问题。

#### 关键提示

默认情况下，许多LLM封装会自动捕获错误并重试。使用降级机制时，需关闭这些自动重试功能。

```python
# 安装必要库
%pip install --upgrade --quiet langchain langchain-openai

from langchain_openai import ChatOpenAI
from langchain_anthropic import ChatAnthropic

# 模拟OpenAI的RateLimitError
from unittest.mock import patch
import httpx
from openai import RateLimitError

request = httpx.Request("GET", "/")
response = httpx.Response(200, request=request)
error = RateLimitError("rate limit", response=response, body="")

# 创建LLM实例，不进行自动重试
openai_llm =