[AI]在家中使用日常设备运行您自己的 AI 集群.适用于移动、桌面和服务器的分布式 LLM 推理。

最新推荐文章于 2025-03-08 13:03:13 发布
最新推荐文章于 2025-03-08 13:03:13 发布
阅读量2.6k 收藏 21
点赞数 29
分类专栏： Github开源项目 文章标签： 人工智能 分布式 github ai 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43688085/article/details/140740778
版权

创作不易 只因热爱!!

热衷分享，一起成长!

“你的鼓励就是我努力付出的动力”

AI发展不可谓不快,
从ollama个人电脑CPU运行到现在,日常设备AI集群.
下面对比一下,两款开源AI 大模型的分布式推理应用, exo 和cake.

1.AI 集群推理应用exo 和cake的简单对比

最低0.47元/天 解锁文章
EXO项目解析：pynvml怎么实现监控的，包括什么参数
ZJQ的博客
07-22 484
这段代码是一个使用setuptools库编写的Python包安装脚本，exosetuptoolssetupsysaiohttpblobfilegrpcionumpyprotobufpsutilpynvmlrequestsrichtiktokentokenizerstqdmuuidtinygrad"darwin"mlxmlx-lmsetup"exo""0.0.1"pipsetupexotinygrad。
LLM的分布式部署：AI的云端革命
AI天才研究院
12-03 970
《LLM的分布式部署：AI的云端革命》 关键词 分布式部署 语言模型 云端计算 资源管理 性能优化 安全性 摘要 本文将深入探
尝试在exo集群下使用deepseek模型：第一步，调通llama
skywalk8163的专栏
02-21 1424
先上结论，这个模型可以：llama-3.2-1b调试可以加上跟踪信息，比如DEBUG=9。
exo - 使用日常设备运行AI集群
AI工程化、开源分享、文档翻译、代码笔记
11-14 3738
一、关于 exo 特点 1、广泛的模型支持 2、动态模型分区 3、自动设备发现 4、ChatGPT兼容API 5、设备平等 二、安装 先决条件 从源码安装 故障排除 性能 三、使用 1、在多个macOS设备上的示例使用 设备1： 设备2： 2、多个异构设备（MacOS+Linux）上的示例用法 设备1（MacOS）： 设备2（Linux）： 四、调试 已知问题 推理引擎 网络模块 五、其它
多台Macmini利用EXO搭建分布式AI集群提高deepseek -r1:14b推理能力方案分享（实测可用）
最新发布
日常记录分享，希望对大家有帮助，如有问题望大家批评指正
03-08 2146
对比之下，一块RTX 4090显卡满载就要450瓦——这电费差距，长期运行成本得高多少！只要设备在网络中的某个位置连接，就可以用来运行模型，使用起来非常简单方便。这就好比把厨房和餐厅打通，厨师（GPU）和传菜员（CPU）再也不用跑来跑去，上菜速度直接翻倍！由图可以看到单台m4 mac的性能大约是28tokens/s，运算速度是8.52TFLOPS（每秒所执行的浮点运算次数）传统显卡（比如NVIDIA RTX 4090）的显存最高只有24GB，而一台顶配Mac Mini能塞下64GB的。
Ubuntu下python3.12安装, 分布式 LLM 推理 exo 安装调试过程, 运行自己的 AI 集群
weixin_43688085的博客
08-03 3102
分布式LLM推理,AI集群安装教程,ubuntu22.04不编译安装python3.12,安装pip3.12,ubuntu安装分布式推理AI集群exo.本地运行分布式LLM推理离线运行exo,安装调试分布式LLM推理AI集群exo,离线运行AI集群,安装调试AI集群exo;Nomodulenamed'apt_pkg'报错的解决方法
【Rust日报】cake - 分布式推理引擎
Rust语言学习交流
07-24 699
cake - 分布式推理引擎使用Rust基于Candle库实现，用于统一桌面各种操作系统，手机操作系统和服务器操作系统进行分布式推理，增强普通用户玩大模型的能力。看起来很牛逼的样子。目前已经2k星。https://github.com/evilsocket/cakemonitor - Rust实现的编排和部署工具Monitor 是一个用于构建和部署大量 Docker 镜像的系统。其背景是其他系统要...
大模型推理框架：Ollama和vLLM到底应该选哪个？
2401_85375186的博客
12-30 3981
在人工智能领域，大语言模型（LLM）的应用日益广泛，选择合适的推理（部署）框架对实现高效、稳定的模型运行至关重要。Ollama和vLLM作为当下流行的LLM部署工具，各具独特优势与适用场景。本文将深入剖析二者的优缺点，并给出选型建议，同时附上它们的具体使用案例，以便读者更直观地了解其应用情况。
主机和边缘设备实现分布式LLM推理
ZJQ的博客
12-23 211
主机和边缘设备实现分布式LLM推理 在自己家庭中通过主机和边缘设备实现分布式LLM推理具有一定的可行性和挑战性。其优势在于能保护隐私、降低成本、可定制化等，但也存在硬件性能有限、网络带宽不足、配置复杂等问题.以下是一些相关的公司和项目：
GPU 集群和分布式计算
AI天才研究院
11-07 960
《GPU集群和分布式计算》 关键词： GPU集群、分布式计算、CUDA、OpenACC、OpenMP、性能优化、故障处理、案例分析 摘要： 本文详细探讨了GPU集群和分布式计算
GitHub每日最火火火项目（1.23）
qq_37281548的博客
01-23 774
GitHub每日最火火火项目（1.23）
【EXO】在家用日常设备就可以搭建自己的 AI 集群
Imagine Miracle的博客
02-27 912
exo项目的口号是 “在家中使用日常设备运行自己的AI集群”。exo是一个开源项目，旨在利用日常设备（如iPhoneiPadAndroidMacLinux等）运行自己的AI集群。通过动态模型分区和自动设备发现，exo能够将多个设备统一成一个强大的GPU，支持多种模型如LLaMAMistralLlaVAQwen和Deepseek。Exo 还提供了一个ChatGPT兼容的API，使用户可以轻松地在自己的硬件上运行模型。
Tinygrad，llama3，Reward Model
ZJQ的博客
07-25 4万+
根据公开发布的信息，Llama 3是一款文本生成AI，与OpenAI的GPT和Anthropic的Claude模型类似，用户可以编写文本提示，然后Llama 3会生成相应的文本响应。在复杂的实际应用场景中，设计一个合适的奖励模型并非易事，因此研究如何构建有效的奖励模型成为了强化学习领域的关键技术与挑战。总的来说，Tinygrad是一个轻量级但功能强大的深度学习框架，它以其简洁的设计和易用性吸引了众多开发者的关注。Llama 3是一个“开放权重”模型，意味着模型本身是开源的，提供了一定程度的透明度。
基础篇| 全网最全详解12个大模型推理框架
youbingchen的博客
07-30 3980
开始介绍之前, 我们先了解一下什么是框架?xx框架-IT人经常听到的名词。但是又有多少人知道框架的意思?框架（framework）是一个框子:指其约束性，也是一个架子——指其支撑性。是一个基本概念上的结构，用于去解决或者处理复杂的问题。在IT软件领域，软件框架（software framework）的标准定义：通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。
pycharm中遇到各种no module named ****问题的解决办法
weixin_46761495的博客
10-09 1万+
因为自己在安装Pycharm安装包的时候遇到了太多的问题，差点放弃，但是就是在自己要放弃的时候，找到了一些安装的方法！超级开心！因为自己浪费了很多时间，所以就想给那些走弯路的人节省点时间。 首先Python中安装matplotlib时，不是说只安装一个就行，后面还附带了很多包，这里默认是安装好的，因为其他前辈都有教安装的方法。 安装方法： 左下角输入cmd，打开命令提示符，然后在里面输入 pip install +你缺的包名，比如（pip install pygame） 一会系统会提示安装好了 肯定会遇到虽
No module named ‘xxx‘问题
wjCwl的博客
11-08 1432
可能是编译环境的问题。 pip install下载下来的文件默认保存在 C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\site-packages 文件夹里。import xx 包就是从这里导入的。 vscode左下角有一个编译环境可以选择。 运行程序，特别是导入包的程序时，请务必确定编译环境正确。因为可能你的包下载在python3.7环境中，但你选择python3.6环境import这个包，就会导致import不成
python模块以及导入出现ImportError: No module named 'xxx'问题
热门推荐
我的新博客
02-23 57万+
python中，每个py文件被称之为模块，每个具有__init__.py文件的目录被称为包。只要模 块或者包所在的目录在sys.path中，就可以使用import 模块或import 包来使用 如果你要使用的模块（py文件）和当前模块在同一目录，只要import相应的文件名就好，比 如在a.py中使用b.py：  import b  但是如果要import一个不同目录的文件(例如b.
python3 提示 No module named ‘urlparse’ 原因及解决方法
qq_24857309的博客
12-02 1万+
今天用Python3.7运行代码，结果提示以下错误： from urlparse import urlparse ModuleNotFoundError: No module named 'urlparse' 原因： python3版本中已经将urllib2、urlparse、和robotparser并入了urllib模块中，并且修改urllib模块，其中包含5个子模块，即是help()中看到的那五个名字。如下： urllib.error：ContentTooShortError、HTTP
如何使用DeepSeek和自己的数据库做二次开发？
02-24
DeepSeek可能是一个大语言模型，类似于LLaMA或GPT，用户想要结合自己的数据库进行二次开发，可能是想定制模型，使其能够访问特定的数据，或者在企业内部应用中使用。 首先，回顾之前的对话历史，用户之前询问了关于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值