在Mac mini上实现本地话部署AI和知识库

最新推荐文章于 2025-04-01 10:01:16 发布

Johnny_Hu2016

最新推荐文章于 2025-04-01 10:01:16 发布

阅读量3.8k

点赞数 23

文章标签：人工智能 macos

本文链接：https://blog.csdn.net/Johnny_nass_hu/article/details/145197371

版权

在Mac mini上实现本地话部署AI和知识库

硬件要求：
- 大模型AI，也叫LLM，需要硬件支持，常见的方式有2种：一种是采用英伟达之类支持CUDA库的GPU芯片或者专用AI芯片；第二种是采用苹果M系列芯片架构的支持统一内存架构的硬件；
软件要求：
- 软件基于ollama + anything LLM
- 模型主要选择的是OpenChat，感觉openchat的中文支持比较好
步骤

硬件要求：

大模型AI，也叫LLM，需要硬件支持，常见的方式有2种：一种是采用英伟达之类支持CUDA库的GPU芯片或者专用AI芯片；第二种是采用苹果M系列芯片架构的支持统一内存架构的硬件；

本文主要讲基于苹果M系列的方式，采用的内存建议16M，8M内存也能支持，但支持模型会比较少；除此之外，即使普通的电脑，如果你的内存够大，CPU够快，也是可以运行一些小的模型的，只是速度上会比较慢，CPU占用比较高，具体情况大家可以实际体验一下，例如我用一台T460，Intel i5 4核2.3G x4，16G内存，显卡GeForce 940MX/PCIe/SSE2，运行Ollama openchat 4B模型，一分钟大概生成100个词左右。