unify llm 大模型路由

Unify介绍

Unify是llm大模型路由框架。

Unify Python 包提供了对 Unify REST API 的访问，允许您从任何 Python 3.7.1+ 应用程序中查询大型语言模型（LLMs）。它包括了同步和异步客户端，并支持流式响应。

就像 REST API 一样，您可以：

🔑 使用单个密钥访问任何端点：仅使用一个 Unify API 密钥，即可访问任何提供商的所有 LLMs。

🚀 路由到最佳端点：每个提示都会被发送到能产生最佳吞吐量、成本或延迟的端点。

基本使用方法

可以在几行代码中通过指定端点Id来调用Unify API。端点Id是模型Id和提供程序Id的组合，这两个Id都可以在端点基准测试页面中找到。
例如，llama-2-13b的基准显示，llama 2 13b的模型Id是llama-2-13-b-chat，并且Anyscale的提供商Id是Anyscale。然后我们可以调用：

from unify import Unify
unify = Unify("llama-2-13b-chat@anyscale")
response = unify.generate("Hello Llama! Who was Isaac Newton?")

异步代码

from unify import AsyncUnify
import asyncio
async_unify = AsyncUnify("llama-2-13b-chat@anyscale")

async def main():
   responses = await async_unify.generate("Hello Llama! Who was Isaac Newton?")

asyncio.run(main())

流模式代码

from unify import Unify
unify = Unify("llama-2-13b-chat@anyscale")
stream = unify.generate("Hello Llama! Who was Isaac Newton?", stream=True)
for chunk in stream:
    print(chunk, end="")

动态路由

由于API性能的波动，每个模型的最佳提供商因地理位置和时间而异。
通过动态路由，我们会在那一刻自动将您的请求引导到“性能最佳的提供商”。要启用此功能，只需将查询的提供程序替换为可用的路由模式之一。
例如，您可以查询llama-2-7b-chat端点以获得输入成本最低的提供者，如下所示：

from unify import Unify
unify = Unify("llama-2-13b-chat@lowest-input-cost")
response = unify.generate("Hello Llama! Who was Isaac Newton?")

聊天中继agent

from unify import ChatBot
agent = ChatBot("llama-2-13b-chat@lowest-input-cost")
agent.run()