LiteLLM 运行 Llama3

最新推荐文章于 2025-03-25 20:12:00 发布

Jonas9

最新推荐文章于 2025-03-25 20:12:00 发布

阅读量2.3k

点赞数 6

文章标签：人工智能

本文链接：https://blog.csdn.net/u011423880/article/details/138069616

版权

本文介绍了如何在本地安装和配置Ollama以及其子项目LiteLLM，包括使用LiteLLMPythonSDK和通过OpenAI代理服务器调用大模型进行交互。详细步骤包括安装、API调用示例和代码片段.

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. Ollama 搭建本地大模型

1. 安装 Ollama

参考 Ollama 官方文档

2. 安装 llama3

ollama run llama3

二. LiteLLM 使用

LiteLLM 有两种使用方式：

OpenAI 代理服务器
LiteLLM Python SDK

1. LiteLLM Python SDK

from litellm import completion

response = completion(
            model="ollama/llama3",
            messages = [{ "content": "Hello, how are you?","role": "user"}],
            api_base="http://localhost:11434"
)

参考 LiteLLM - Getting Started

2. OpenAI 代理服务器

安装依赖

pip install litellm[proxy]

启动代理

litellm --model ollama/llama3

代码示例

def openai_usage():
    # 使用 litellm 的 openai 代理
    client = openai.OpenAI(api_key="anything", base_url="http://localhost:4000")  # set proxy to base_url
    # request sent to model set on litellm proxy, `litellm --model`
    response = client.chat.completions.create(model="ollama/llama3", messages=[
        {
            "role": "user",
            "content": "this is a test request, write a short poem"
        }
    ])
    print(response)