LiteLLM 运行 Llama3

利用Ollama和LiteLLM搭建本地大模型并进行Python集成

最新推荐文章于 2025-09-27 20:59:04 发布

原创

最新推荐文章于 2025-09-27 20:59:04 发布 · 3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

本文介绍了如何在本地安装和配置Ollama以及其子项目LiteLLM，包括使用LiteLLMPythonSDK和通过OpenAI代理服务器调用大模型进行交互。详细步骤包括安装、API调用示例和代码片段.

该文章已生成可运行项目，

一. Ollama 搭建本地大模型

1. 安装 Ollama

参考 Ollama 官方文档

2. 安装 llama3

ollama run llama3

二. LiteLLM 使用

LiteLLM 有两种使用方式：

OpenAI 代理服务器
LiteLLM Python SDK

1. LiteLLM Python SDK

from litellm import completion

response = completion(
            model="ollama/llama3",
            messages = [

本文章已经生成可运行项目

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jonas9

关注关注

6
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【AI】llama-fs的安装与运行

突围

05-30

652

llama-fs

深度学习-81-大语言模型LLM之基于litellm与langchain与ollama启动的模型交互

qq_20466211的博客

01-08

983

分别使用python包litellm和langchain与大模型进行交互，Ollama是建立在llama.cpp开源推理引擎基础上的大模型推理工具框架，Ollama能够在包括CPU、GPU在内的不同的硬件环境上，运行各种精度的GGUF格式大模型。

参与评论您还未登录，请先登录后发表或查看评论

一键在本地调用上百种大模型，私密、高效、超低成本，详解LiteLLM+Ollama用法

weixin_45228758的博客

06-22

423

LiteLLM 是一个轻量级的 Python 库，充当与各种 LLM API 交互的统一接口。。LiteLLM 处理将你的请求转换为目标模型提供者所需的特定格式的底层复杂性。统一接口：在 100 多个 LLM 提供商中，API 调用一致（提供商无关：通过更改单个模型字符串，轻松在模型之间切换（例如，从gpt-4o切换到鲁棒性：内置支持超时、重试和回退。可观察性：集成日志记录、回调，并支持 Langfuse、Helicone 和 PromptLayer 等平台。

浅谈人工智能之基于AutoGen Studio+litellm+ollama构建model

测试人，测试魂

09-04

1811

随着自然语言处理技术的飞速发展，基于大型语言模型（Large Language Models, LLMs）的应用越来越广泛。本指南旨在介绍如何利用AutoGen Studio、litellm和ollama这三大工具，高效构建并部署具备高级对话能力的多智能体系统。通过整合这些工具，开发者能够轻松地在本地环境中搭建起功能强大、灵活且可定制的大型语言模型应用。

从混乱到可控：深入解析 LiteLLM 与 LLM 网关的力量

炼丹上岸

09-17

801

摘要： LLM网关作为大语言模型（LLM）应用的核心中间件，解决了生产环境中的多供应商API混乱、可靠性差、成本不可控等关键问题。开源工具LiteLLM提供两种模式：Python SDK简化开发，代理服务器模式实现生产级统一接入，支持100+模型，具备OpenAI兼容API、自动重试/回退、成本跟踪、负载均衡等核心功能。通过集中管理API密钥、虚拟预算控制及语义缓存，LiteLLM显著降低LLM应用的运营复杂度，帮助团队从实验阶段平滑过渡到规模化生产。

使用 LiteLLM 构建适用于生产级规模的强大 LLM 应用程序

Python_cocola的博客

08-07

6953

LiteLLM是一个 Python 库，旨在简化多种大型语言模型（LLM）API 的集成。通过支持来自众多提供商的超过 100 种 LLM 服务，它使用户能够使用标准化的 OpenAI API 格式与这些模型进行交互。提供商包括AzureAnthropicCohereOpenAIOllama和Sagemaker等主要品牌。这种广泛的兼容性为用户提供了丰富的语言模型功能，简化了将先进语言模型集成到其应用中的过程。参考。LiteLLM 代理。

LiteLLM：统一大语言模型接口的终极解决方案

加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。

06-09

1148

在人工智能快速发展的今天，大语言模型（LLM）的应用越来越广泛。然而，不同厂商的 LLM API 接口各异，给开发者带来了巨大的集成成本。LiteLLM 应运而生，它提供了一个统一的接口，让开发者能够以 OpenAI 的格式调用各种 LLM 服务，包括 Bedrock、Huggingface、VertexAI、TogetherAI、Azure、OpenAI、Groq 等。本文将深入探讨 LiteLLM 的核心功能、使用方法和最佳实践，帮助开发者快速构建 AI 应用。

litellm ollama python api 模式测试

weixin_28941895的博客

08-06

276

一起简单说过itellm 支持多种模式的大模型运行，有proxy 模式（可以proxy 模型以及包含api服务的模型接口），也有直接通过python 代码进行访问的，以下是对于ollama 模型的一个简单运行试用python代码模式appv4.py 此模式litellm 会自己进行登录后复制 from litellm ...

通过litellm + ollma 试用autolabel

weixin_41129235的博客

08-27

305

ollama 当前版本对于openai api 的兼容实际上部分是有问题的(目前官方在进行修改，但是暂时还没发布)，我们可以通过litelmm 的proxy 模式提供openaia 兼容的api，同时可以进行灵活的改写（比如openai 的gpt-3.5-turbo 实际使用的是michaelborck/refuled ）...

llama_index.llms.litellm

04-01

比如引用2提到本地运行Llama3的教程，如果litellm支持本地模型，可能需要参考如何部署本地模型，但需要确认litellm是否支持Ollama。接下来，我需要整理llama_index的基本使用步骤。比如安装、数据加载、索引构建、...

open-interpreter调用Ollama本地各种模型的方法（如llama3:8b)

weixin_47425289的博客

04-30

2894

完美解决open-interpreter调用Ollama各种模型api出错的问题

使用 LiteLLM 构建适用于生产级规模的强大 LLM 应用程序。

php源码

07-29

1616

LiteLLM是一个 Python 库，旨在简化各种大型语言模型 (LLM) API 的集成。通过支持来自众多提供商的 100 多种 LLM 服务，它使用户能够使用标准化的 OpenAI API 格式与这些模型进行交互。提供商包括AzureAnthropicCohereOpenAIOllama和Sagemaker等知名公司。这种广泛的兼容性为用户提供了广泛的语言模型功能，简化了将高级语言模型合并到其应用程序中的过程。参考。

LiteLLM

AI工程化、开源分享、文档翻译、代码笔记

07-25

2914

一、关于 LiteLLM🚅 企业级我们为什么要建造这个？二、用法异步流日志可观测性三、OpenAI代理 📖代理端点快速启动代理-CLI 第1步：启动litellm代理第2步：向代理发出ChatCompletions请求代理密钥管理请求预期反应四、支持的 Providers 五、贡献

LiteLLM/One-Api 统一各种大模型接口通过OpenAi格式访问

u013220851的博客

09-19

4855

在我们调用其他大模型如Ollama，Gemini，OpenAi，Qwen等等，他们返回的格式都不太一样，这样每次接入这些接口相对都比较麻烦进行格式调整，LiteLLM统一了这些Api调用方式，通过配置，对应厂商的Api接口，都可以通过OpenAi接口的格式进行调用。项目可以直接提供了docker-compose一键部署。

揭秘 LiteLLM：轻松驾驭百余种语言模型 API，开发者的致胜法宝

寻道AI，探索AI无限可能！

09-03

2555

LiteLLM 是一个强大的 Python 库，旨在简化大型语言模型 API 的调用过程。它支持多种 LLM 服务，包括但不限于 OpenAI、Cohere、Anthropic、Ollama、Sagemaker、Hugging Face、Replicate 等，总数超过 100 种。无论你是在开发自然语言处理应用、聊天机器人，还是进行文本生成任务，LiteLLM 都能为你提供高效的解决方案。

ollama本地模型使用openai的接口