exo：22.1K Star！一个能让任何人利用日常设备构建AI集群的强大工具，组成一个虚拟GPU在多台设备上并行运行模型

最新推荐文章于 2025-03-08 13:03:13 发布

蚝油菜花

最新推荐文章于 2025-03-08 13:03:13 发布

阅读量1.3k

点赞数 28

分类专栏：每日 AI 项目与应用实例文章标签：人工智能人工智能开源

本文链接：https://blog.csdn.net/qq_19841021/article/details/145558108

版权

659 篇文章

订阅专栏

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

大家好，我是蚝油菜花，今天跟大家分享一下 exo 这个开源项目，它能让你利用家中的日常设备构建强大的 AI 集群。

exo 是一个开源项目，旨在让你利用家中的日常设备（如 iPhone、iPad、Android、Mac 和 Linux）构建强大的 AI 集群。

exo

exo 是一个由 exo labs 维护的开源项目，旨在让任何人都能利用家中的日常设备（如 iPhone、iPad、Android、Mac 和 Linux）构建强大的 AI 集群。它允许用户将现有的设备统一成一个虚拟的 GPU，从而运行大型 AI 模型，而无需依赖昂贵的 NVIDIA GPU。

exo 支持多种流行的 AI 模型，并通过智能的资源管理和网络拓扑优化，使得用户可以在多台设备上并行运行模型，极大地提升了计算能力。此外，exo 采用了点对点（P2P）架构，避免了传统分布式系统的主从模式，确保每台设备都能平等地参与推理任务。

当前推荐的方式是从源码安装 exo。以下是详细的步骤：

git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .
# 或者使用虚拟环境
source install.sh

exo 的唯一要求是所有设备的总内存必须足以容纳整个模型。例如，如果你要运行 LLaMA 3.1 8B (fp16)，你需要 16GB 的总内存。以下是一些可能的配置组合：

在每个设备上运行 exo 命令，exo 会自动发现其他设备并建立连接。

exo

exo 将启动一个类似 ChatGPT 的 WebUI，访问 http://localhost:52415 即可使用。

在 macOS 和 Linux 设备上分别运行 exo，它们会自动连接并使用不同的推理引擎。

# macOS 设备
exo

# Linux 设备
exo

Linux 设备默认使用 tinygrad 推理引擎，macOS 设备则可以根据需要选择 MLX 或 tinygrad。

你也可以在单个设备上直接运行模型：

exo run llama-3.2-3b

或指定自定义提示：

exo run llama-3.2-3b --prompt "What is the meaning of exo?"

🥦 微信公众号｜搜一搜：蚝油菜花 🥦