ollama + autogen排雷

已于 2024-05-14 12:26:47 修改
阅读量1.5k 收藏 3
点赞数 2
文章标签： ollama autogen litellm windows
于 2024-05-08 21:29:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40101756/article/details/138586838
版权

语法：<abc>代表参数，实际输入为具体的名字，不需要输入<>

注意：当前雷可能随着版本迭代更新掉

1、litellm -model ollama/<model>

        启动后的url为：http://0.0.0.0:<port>，实际调用需要将"0.0.0.0"替换为"localhost"，否则回报错误"oserror winerror 10049在其上下文中该请求的地址无效"

2、autogen.UserProxyAgent在非docker环境下，需要增加参数

code_execution_config={"use_docker":False}

否则，会报错。前半句是问题，后半句是建议的解决方法，这里采用的是第二种

Code execution is set to be run in docker (default behaviour) but docker is not running. The options available are: - Make sure docker is running (advised approach for code execution) - Set "use_docker": False in code_execution_config - Set AUTOGEN_USE_DOCKER to

"0/False/no" in your environment variables

3、ImportError: cannot import name 'AssistantAgent' from 'autogen'

原因是应该pip install pyautogen，而不是pip install autogen

4、ollama 更改模型存储路径

默认是在C盘/<当前用户>，增加环境变量“OLLAMA_MODELS:<想要存储的路径>”，即可。

但是，切记一定要重启ollama，才能生效。

风笑谷
关注
基于AutoGen+Ollama+Litellm构建知识库问答系统
space01的专栏
10-12 656
之前已经。但是随着智能体的发展，基于智能体构建知识库问答系统逐渐成为主流。下面就以多智能体框架AutoGen、托管大型语言模型的平台Ollama、模型选择和切换工具Litellm为基础构建一个多智能体的知识库问答系统。同时搭建一个多智能体对话系统。
autogen+ollama+litellm实现本地部署多代理智能体
xiaomu_347的博客
11-23 796
autogen 是一个专门为大语言模型 (LLMs) 驱动的自治代理 (autonomous agents) 设计的 Python 库，由 Microsoft 开发和维护。它通过高度模块化和可扩展的架构，支持用户快速构建和运行多代理系统，这些代理可以在没有明确人类干预的情况下协作完成复杂任务。AutoGen 支持以最少的工作量构建基于多代理对话的下一代 LLM 应用程序。它简化了复杂的 LLM。它最大限度地提高了 LLM并克服了它们的弱点。
使用本地大模型调用代码，根本就是一场骗局！
python12345678_的博客
06-11 1212
通过大模型调用其他工具到底可不可行？ChatGPT 或许能轻松搞定一切，但同样的需求落在本地大模型上，恐怕就要打个问号了。法国开发工程师 Emilien Lancelot 尝试了多款号称具备工具调用功能的 agent 框架，来看看本地大模型到底能不能完成任务，但结果就像他总结的“一无所获”。是什么让这位工程师失望了？用 AutoGPT，得会点“糊弄学”AutoGPT 是款貌似强大的框架，提供很酷的 CLI 外加 Flutter UI，能够通过浏览器创建 agent。
Autogen Studio+本地ollama+deepseek安装(2025/4/15更新）
nancyjiang的专栏
04-14 623
2. conda建立autogenstudio虚拟环境,激活虚拟环境, 注意autogen studio对PYTHON有版本要求，目前的要求是>=3.10, <3.13，我是安装的3.10。1. 安装ollama,pull deepseek-r1:1.5b, 这部分网上文章众多，此略。如果直接设置，怎么测试都不通，后来直接用JSON EDITOR。将下面的代码贴入，然后SAVE CHANGES保存。测试是否连通:有下面提示即表示设置成功。3.安装autogenstudio。增加模型：ADD MODEL。
ollama+autogen
qq_41638872的博客
03-06 1232
【代码】ollama+autogen。
从零开始Autogenstudio配合ollama安装本地大模型
javin4715的博客
08-03 3761
可以输入命令行：ollama list 查看已安装的大模型。2、切换环境：完成环境创建后，切换至新环境：命令：conda activate autogen_studio。2、安装本地大模型 打开Anaconda Prompt 输入命令行：ollama run （大模型名称）切换到刚刚打开的Anaconda Prompt中，粘贴刚刚复制的命令，ollama会自动下载安装大模型。进入官网点击右上方Models，进入大模型列表，选择需要安装的大模型。测试大模型是否链接成功：点击 Test Model 测试。
ollama autogen
qq_41638872的博客
03-03 643
【代码】ollama autogen。
本地电脑大模型系列之 11 微软的 GraphRAG + AutoGen + Ollama + Chainlit = 完全本地多智能体 RAG 超级机器人（教程含源码）
iCloudEnd的博客
07-17 1589
这是我第一次涉足 AI 代理、LLM 和 RAG，过去几周我直接开始创建此实现，绕过了很多基础知识。虽然此实现并不完美，但它是开发更复杂应用程序的绝佳模板。它为集成多个功能和编码代理奠定了坚实的基础，并使您能够构建复杂的工作流程、自定义代理交互并根据需要增强功能。
浅谈人工智能之基于AutoGen Studio+litellm+ollama构建model
测试人，测试魂
09-04 1643
随着自然语言处理技术的飞速发展，基于大型语言模型（Large Language Models, LLMs）的应用越来越广泛。本指南旨在介绍如何利用AutoGen Studio、litellm和ollama这三大工具，高效构建并部署具备高级对话能力的多智能体系统。通过整合这些工具，开发者能够轻松地在本地环境中搭建起功能强大、灵活且可定制的大型语言模型应用。
浅谈人工智能之基于AutoGen Studio+Ollama本地大模型构建AI Agent
测试人，测试魂
09-06 2135
随着人工智能技术的飞速发展，大型语言模型已成为推动创新应用的关键力量。然而，云服务的使用虽然便捷，但面临着数据安全、延迟及成本等挑战。为解决这些问题，越来越多的开发者选择在本地部署大模型。本文将介绍如何利用AutoGen Studio与Ollama这一强大的组合，在本地搭建高效、安全的AI Agent。通过这一方案，开发者不仅能够享受大模型的强大功能，还能确保数据的私密性和降低运行成本。
​微软的 GraphRAG AutoGen Ollama Chainlit 完全本地的多智能体 RAG 超级机器人
m0_56255097的博客
10-25 1397
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
本地电脑大模型系列之 03 将 Autogen 与本地 LLM 结合使用,使用 OLLAMA 将开源 LLM 与 Autogen 集成
iCloudEnd的博客
06-28 484
AutoGen 是由 Microsoft 开发的框架，它支持使用多个代理来开发 LLM 应用程序，这些代理可以相互对话以解决任务。代理可以采用多种模式运行，这些模式结合了 LLM、人工输入和工具。Autogen 的主要优势之一是它能够自动创建代码并执行通常需要手动完成的任务，从而显著加快开发周期。这不仅加快了开发速度，还通过最大限度地降低人为错误的风险，提高了软件应用程序的可靠性和性能。
GraphRAG + AutoGen + Ollama + Chainlit = 本地和免费的多代理 RAG 超级机器人
Python_cocola的博客
08-19 1702
这是我第一次涉足 AI 代理、LLM 和 RAG，在过去的几周里，我绕过了许多基础知识，直接投入到创建这个实现中。虽然这种实现并不完美，但它是开发更复杂应用程序的绝佳模板。它为集成多个功能和编码代理奠定了坚实的基础，应该使您能够构建复杂的工作流程、自定义代理交互并根据需要增强功能。
AutogenStudio使用
最新发布
田地里的大麦子
04-29 764
多代理协作：支持定义多个代理（如 AssistantAgent、UserProxyAgent），每个代理可以承担不同角色（开发者、测试员、产品经理等）。1、修改 智能助手中所配置的模型，配置成所需的模型，配置Model、API KEY、Base Url、Max Token。工具调用（Tool Calling）：代理可以调用外部工具（如 Python 代码执行、API 调用、文件读写等）。可定制性：用户可以通过代码灵活定义代理的行为、交互规则和协作流程。自动化代码开发：多个代理协作生成代码、调试并执行。
微软的 GraphRAG + AutoGen + Ollama + Chainlit = 本地和免费的多代理 RAG 超级机器人
m0_59235245的博客
09-26 1142
集成和关键组件的图形摘要R检索增强生成 (RAG) 是一种功能强大的工具，它使大型语言模型 (LLM) 能够访问现实世界的数据，从而做出更明智的响应。这是通过将模型与矢量数据库集成以进行实时学习和适应来实现的。此功能使 RAG 成为聊天机器人和虚拟助手等应用程序的首选，这些应用程序对实时准确且合理的响应需求很高。这种技术的高级变体称为图形检索增强生成 (GraphRAG)，它将基于图形的知识检索的优势与 LLM 相结合，进一步增强了自然语言处理的能力。
微软Autogen框架加载本地llama2
01-24 1850
1、实践流程（1）使用Fastchat框架搭建运行ChatGLM模型openai兼容API（2）测试AutoGen加载ChatGLM22、部署FastChat2.1、创建虚拟环境2.2、下载FastChat2.3、依赖框架安装。
微软最强AI智能体AutoGen史诗级更新！原生支持Magentic-One和Swarm与Teams！引领AI智能体元年！支持ollama本地部署！小白也能轻松掌握AI框架保姆级教程，超详细上手指南
m0_71165399的博客
01-19 1478
AutoGen是一个用于构建代理AI应用程序的开源框架，允许开发者创建可以自主行动或与人类协作的多代理AI系统。AutoGen0.4.2是一个重要的更新版本，它在代理工作流程中提高了代码质量、稳健性、通用性和可扩展性。新的异步、事件驱动的架构使AutoGen更具可扩展性和稳健性，从而支持更广泛的代理场景。
[特殊字符]3分钟复刻Manus智能体！AutoGen+MCP Server+Cline构建最强AI智能体，支持ollama！轻松实现网络搜索+文件操作的AI Agent！
m0_71165399的博客
03-08 800
🚀🚀🚀本篇笔记所对应的视频Manus是中国科技团队最近推出的AI智能体系统，但是这个智能体并不开源。而且很多小伙伴都没有体验到Manus。所以我们将使用开源方案来复刻Manus。通过结合AutoGen的强大框架和MCP的精细控制,开发者有潜力创建出在自主性、适应性和协作能力上超越Manus的智能体系统。
ollama+llm
03-23
<think>好的，我现在要回答用户关于Ollama与LLM的关系以及如何使用它们的问题。首先，我需要理解用户的需求，他们可能想了解Ollama如何帮助管理和运行本地的大语言模型，以及具体的集成方法。用户提到了教程和集成方案，所以需要涵盖安装步骤、基本使用、以及与其他工具的整合。 首先，根据提供的引用，引用[4]提到Ollama支持多种LLM，如Llama3、DeepSeek-R1等，并且方便切换和管理模型，这说明Ollama是一个管理工具。引用[1]提到Ollama的更新使其能够使用OpenAI的API，这可能与集成Autogen有关。引用[3]和[2]则涉及与LobeChat和Next.js的集成，需要介绍这些方案。 接下来，我需要整理Ollama的基本功能，安装步骤。引用[5]提到了创建运行目录，可能涉及安装后的配置。然后，基本使用包括模型下载、运行、API调用，比如通过curl发送请求。这部分需要确保命令正确，符合用户的操作习惯。 关于集成方案，Autogen的整合需要说明如何设置Ollama作为本地服务，并修改Autogen的配置指向本地API端点。引用[1]中的信息需要在这里应用。Next.js的UI整合引用[2]，需要提到项目地址和使用方法。LobeChat的集成引用[3]，需要指导用户如何设置Ollama的访问地址。 此外，需要注意用户可能遇到的常见问题，比如非本地访问Ollama的方法，引用[3]提到可能需要配置服务端地址。性能优化部分，可以建议使用量化模型，如引用[4]中的轻量化设计，以及硬件加速方法。 最后，生成相关问题时要围绕用户可能的后续疑问，如性能优化、模型管理、应用场景等，确保覆盖用户潜在的需求。 需要检查所有引用是否正确应用，确保每个步骤都有对应的引用支持，避免错误信息。同时，按照用户的要求，使用中文回答，结构清晰，分步骤说明，代码块正确使用格式，数学表达式使用$符号。</think>### Ollama与LLM的关系及使用教程 Ollama 是一个专为本地大语言模型（LLM）管理设计的工具，提供模型下载、版本切换、轻量化部署等功能[^4]。它通过命令行和API接口简化了开源LLM的本地化使用流程，支持与多种开发框架（如Autogen、Next.js、LobeChat）集成。 --- #### 一、Ollama核心功能 1. **模型管理** - 支持Llama3、DeepSeek-R1、Alpaca等主流开源模型[^4] - 通过`ollama pull <模型名>`下载模型，例如： ```bash ollama pull llama3:8b # 下载Llama3-8B量化版 ``` 2. **本地推理服务** 运行模型后，Ollama会启动本地API服务（默认端口`11434`），可通过HTTP请求调用： ```bash curl http://localhost:11434/api/generate -d '{ "model": "llama3", "prompt": "你好，介绍一下Ollama" }' ``` --- #### 二、Ollama安装步骤 1. **Linux/macOS安装** ```bash curl -fsSL https://ollama.com/install.sh | sh ollama serve # 启动服务 ``` 2. **Windows安装** 下载安装包后执行： ```powershell winget install ollama ollama serve ``` 3. **Docker部署**（引用[5]） ```bash mkdir ollama-demo && cd ollama-demo docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` --- #### 三、Ollama与LLM集成方案 1. **Autogen本地LLM支持**（引用[1]） 修改Autogen配置指向Ollama API： ```python from autogen import oai oai.config_list = [{ "model": "llama3", "api_base": "http://localhost:11434/v1", "api_key": "ollama" # 任意非空值 }] ``` 2. **Next.js Web UI集成**（引用[2]） 使用[nextjs-ollama-llm-ui](https://gitcode.com/gh_mirrors/ne/nextjs-ollama-llm-ui)项目： ```bash git clone https://gitcode.com/gh_mirrors/ne/nextjs-ollama-llm-ui cd nextjs-ollama-llm-ui npm install && npm run dev ``` 3. **LobeChat对话界面**（引用[3]） 在设置中添加Ollama服务地址： ``` 设置 → 语言模型 → Ollama → 服务地址: http://localhost:11434 ``` --- #### 四、性能优化建议 1. 使用量化模型（如`llama3:8b-q4_K_M`）降低显存占用 2. 启用GPU加速： ```bash CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python ``` 3. 调整上下文长度参数`--num_ctx 4096`提升长文本处理能力 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值