如何使用Ollama在本地运行Qwen3并支持MCP和工具使用

最新推荐文章于 2025-05-05 14:07:50 发布

大模型教程

最新推荐文章于 2025-05-05 14:07:50 发布

阅读量572

点赞数 11

文章标签： Qwen3 MCP Ollama 人工智能大模型程序员 AI大模型

本文链接：https://blog.csdn.net/2401_84204207/article/details/147700874

版权

Qwen3是阿里巴巴Qwen团队最新发布的开源大语言模型，提供具有竞争力的性能，高度模块化和工具使用能力。

在本指南中，我将向您展示如何通过Ollama在本地运行Qwen3，并启用MCP（模型上下文协议）工具功能，如代码解释器、网络获取和时间查询。

到最后，您可以构建由Qwen3驱动的智能助手，完全在您的机器上运行——无需云API密钥！

为什么选择Qwen3 + Ollama + MCP？

为了实现这些高级功能，阿里巴巴引入了模型上下文协议（MCP）。

MCP允许模型通过调度命令行服务与外部工具交互，使大语言模型能够以结构化和安全的方式访问时间、从网站获取数据或调用其他本地工具。

在Qwen-Agent生态系统中，像mcp-server-time和mcp-server-fetch这样的MCP工具作为终端点，可以在需要时被模型本身触发。

这些工具通过一个字典配置，告诉代理为每个功能运行哪些命令。

Qwen3：为开源部署优化的先进大语言模型。
Ollama：通过一个命令简化本地LLM部署（如Qwen3）。
MCP：允许外部工具通过结构化消息进行通信（如网页浏览或时间查询）。
工具使用：扩展Qwen3的能力超越静态文本——让它执行代码、调用API等！

在本地设置Ollama和Qwen3

步骤1：安装Ollama并运行Qwen3

在您的本地终端（Linux/macOS）上运行这些命令：

# 安装Ollama
curl -fsSL https://ollama.com/install.sh | sh


# 启动Ollama服务器
ollama serve

然后拉取Qwen3模型，Ollama 默认会拉取 Qwen3 系列中的基础版本：

ollama pull qwen3

这将获取Qwen3权重并准备通过Ollama API端点http://localhost:11434/v1进行本地使用。

步骤2：安装Qwen-Agent

接下来，克隆官方Qwen-Agent仓库并安装它，包括GUI、检索增强生成（RAG）、代码解释和MCP支持所需的额外功能。运行以下命令：

# 克隆仓库
git clone https://github.com/QwenLM/Qwen-Agent.git


# 安装所有额外功能
pip install -e ./Qwen-Agent"[gui, rag, code_interpreter, mcp]"

-e标志确保包以可编辑模式安装，如果需要，可以更轻松地试验其内部功能。安装后，您可以编写Python脚本将助手连接到Ollama并启用工具使用。

步骤3：准备您的Python脚本

以下是运行具有MCP + Ollama的工具使用助手的完整代码：

from qwen_agent.agents import Assistant


# 步骤1：配置本地Qwen3模型（通过Ollama提供服务）
llm_cfg = {
    'model': 'qwen3',
    'model_server': 'http://localhost:11434/v1',  # Ollama API
    'api_key': 'EMPTY',
}


# 步骤2：定义您的工具（MCP + 代码解释器）
tools = [
    {'mcpServers': {
        'time': {
            'command': 'uvx',
            'args': ['mcp-server-time', '--local-timezone=Asia/Shanghai']
        },
        'fetch': {
            'command': 'uvx',
            'args': ['mcp-server-fetch']
        }
    }},
    'code_interpreter',
]


# 步骤3：初始化Qwen-Agent助手
bot = Assistant(llm=llm_cfg, function_list=tools)


# 步骤4：发送带有URL的用户消息
messages = [{'role': 'user', 'content': 'https://qwenlm.github.io/blog/ 介绍Qwen的最新发展'}]


# 步骤5：运行助手并打印结果
for responses in bot.run(messages=messages):
    pass
print(responses)

这个脚本使用Ollama后端初始化Qwen3模型，并注册两个MCP工具（time和fetch）以及内置的code_interpreter。根据需要评估工具或代码后，助手处理用户消息并返回响应。

结语

将Qwen3与Qwen-Agent、MCP和Ollama结合使用，可以得到一个不依赖任何外部云服务的本地AI助手。

您可以运行多轮对话，启用实时信息检索，并执行Python代码——全部在本地基础设施内完成。

这使其成为开发人员、研究人员和产品团队的理想设置，特别是那些关注隐私、灵活性和可扩展性的人。

随着Qwen3的不断发展，我们可以期待其对复杂任务的更强大支持和与自定义工具的无缝集成，为真正自主的本地AI代理铺平道路。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。