Mac下最详尽的Ollama+Deepseek-r1 本地部署手册

最新推荐文章于 2025-03-31 15:49:51 发布
最新推荐文章于 2025-03-31 15:49:51 发布
阅读量7.5k 收藏 14
点赞数 27
文章标签： macos 本地化部署 人工智能 embedding deepseek ollama 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/145543411
版权

Windows下面的部署手册已经有了，现在Mac下的Deepseek和Ollama的本地部署的最详尽，让你最舒心的手册也来了！想在Mac上部署的朋友看过来。

我的Mac是Mac Mini M4 16G的主机，只要是Mac系统机器，部署都是一样的（当然，我是不会在我的Air上装的）。

现在，让我们从零开始，在Mac上先安装ollama，配置ollama相关路径，再到把Deepseek跑起来，最详尽的步骤就在这里。

我们这篇会涉及四个部分：

  1. 安装Ollama

  2. 指定Ollama存放的模型文件路径

  3. 加载已经下载到本地的GGUF大模型文件

  4. 让其它终端可以访问这个Ollama。

    后两部分内容是之前没有介绍过的，但是Windows下的操作基本和这个一样，同样可以参考。

1. 安装Ollama：

Ollama的安装包可以直接从 ollama.com下载，安装包大小大概200M

（鉴于很多朋友无法下载ollama，这里给大家整理好了ollama的安装包，扫描领取即可↓↓↓↓）

在这里插入图片描述

​

  • Mac的安装包是一个名为Ollama-darwin.zip的文件，建议解压缩后拷贝到“应用”文件夹里。

  • 拷贝后就可以在应用里看到Ollama的图标了

  • 启动Ollama，第一次会提醒你进行安装

  • 同时会自动添加到Mac的自启动中，如果不想让它自动启动的话，可以取消

  • 取消Ollama的自动启动

  • 点击Next，会提示安装Ollama的命令行

  • 输入管理员密码，就安装成功，并自动运行了

  • 注意！先不要运行这个命令，运行这个命令的话Ollama就会自动下载并运行llama3.2的大模型，我们后面来安装Deepseek的模型

  • Ollama已经运行了，我们可以在状态栏看到它的图标

2. 指定Ollama的大模型文件存储的位置：

  • Mac下Ollama的默认路径在 /Users/<你的用户名>/.ollama；Ollama的本地模型的默认存储位置也在这个路径下面，是 /Users/<你的用户名>/.ollama/models

  • 为了方便管理，我们设置Ollama的模型位置到指定的文件夹下。

  • 比如我想把本地模型文件都放在 “/Users/<你的用户名>/LLM/ollama/models” 路径下，那我创建好这个文件夹后，通过在终端中运行下面的命令来设定Ollama的相关运行参数即可

    launchctl setenv OLLAMA_MODELS "/Users/<你的用户名>/LLM/ollama/models"

  • 参考在这里https://github.com/ollama/ollama/blob/main/docs/faq.md#setting-environment-variables-on-mac

  • 我们退出Ollama

  • 在终端中运行ollama serve，可以看到环境变量已经改过来了。确认没问题后，我们可以用 “Ctrl+c”退出

  • 点击Ollama的程序，Ollama运行后，我们就可以通过" ollama run <模型名称> "的命令来让Ollama下载和运行本地大模型了，这里可以参考Windows的那一篇，操作和界面是一样的 Windows下最详尽的Ollama+Deepseek-r1 本地部署手册

  • 直接通过Ollama来和本地大模型交互很不方便，我们可以借助其它的客户端来进行交互，可以参考这篇来配置：用Chatbox或Page Assist方便的访问本地DeepSeek大模型

3. Ollama加载本地的大模型GGUF文件

有时用Ollama run或者pull命令来直接在Ollama中拉取大模型的时候，因为网络问题会报错，不能够拉取大模型到本地。Ollama是支持从下载好大模型GGUF文件导入模型的，这样我们就可以先用下载软件下载好我们想用的模型的GGUF文件，然后做导入，这样就方便多了。

  • 先在Ollama的 models目录下创建一个名为Modelfile的文本文件（没有后缀），我这里放在了上面设置的路径"/Users/<你的用户名>/LLM/ollama/models"，这个文件定义了Ollama通过哪个GGUF文件导入大模型，以及自定义的一些参数。我是16G的Mac Mini，尝试来跑一下14B量化后的模型。

    # 这条必须有，定义从哪个GGUF文件来加载，如果文件不是在同一目录的话，建议写完整的绝对路径``FROM /Users/dapang/LLM/models/DeepSeek-R1-Distill-Qwen-14B-Q6_K_L.gguf``# 可选 设定temperature 的值，从零0 到 1，越高大模型越有创造性，适合创意类；越低越严谨，适合代码，具体操作的问答等，默认值是0.8``#PARAMETER temperature 0.7``# 可选，上下文窗口大小，设定大模型能够使用多少token来生成下一个token，越大支持的对话长度越高，但对于内存大小要求越高``# PARAMETER num_ctx 4096

  • 关于Modelfile文件的详细介绍，可以参考

    https://github.com/ollama/ollama/blob/main/docs/modelfile.md

  • 在终端中进入Ollama的models目录，运行下面的命令，就会Ollama就会根据上面我们创建的Modelfiles文件的内容来读取GGUF和导入出一个名为“ds_16b”的模型了

ollama create ds_16b -f ./Modelfile

  • 验证

    ollama list

  • 运行模型，就可以使用你本地的Deepseek了

    ollama run ds_16b

4. 让其它终端可以访问这个Ollama

默认Ollama的服务只允许本机访问，如果需要让其它设备也可以访问，需要将其它机器加入Ollama的访问列表，因为是在本地局域网内，所以我这里允许其它所有主机访问，这样同一个局域网里的人就都可以用了。

  • Mac中运行下面的命令

    launchctl setenv OLLAMA_HOST "0.0.0.0"``launchctl setenv OLLAMA_ORIGINS "*"

  • Windows中在环境变量中加入下面两个变量，参考Windows下最详尽的Ollama+Deepseek-r1 本地部署手册

    OLLAMA_HOST=0.0.0.0``OLLAMA_ORIGINS=*

  • 在其它的设备上访问你的Ollama。以page assist为例，我在我的windows上来访问这个Ollama，Ollama url那里的IP地址写成Mac的即可。

    看到这里，Deepseek-r1的模型已经在你的Mac上跑起来了，而且同一个局域网里人也可以访问它了，让大家一起用起来吧。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

DeepSeek掘金—— AI性能极致体验 通过阿里云平台高效调用满血版DeepSeek-R1模型
02-19 3609
1.操作简单：整体操作流程较为简洁。用户只需根据阿里云提供的实操手册进行步骤操作，即可顺利完成API调用的配置和测试。对于熟悉阿里云产品的用户来说，界面非常熟悉，设置过程不会遇到过多的复杂步骤。5-8分钟左右可以搞定。2.易用性：手册详细说明了每个步骤的操作，用户只需按照提示逐步完成配置即可。通过百炼平台，用户能够轻松获得API-KEY并进行配置。对于没有使用过阿里云的用户，手册也提供了完整的指导，帮助用户顺利开始。3.用户友好性。
5分钟在MAC下本地搭建大模型
wushakun的博客
03-26 3423
Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。Ollama 的目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 目前处于早期预览阶段，但已经提供了一些核心功能。例如，它支持运行和对话 Llama 2，这是 Meta 新推出的模型。此外，Ollama 还提供了一个模型库，开发者可以在这里下载和使用各种开源模型。
MacOS本地部署Deepseek，不联网也可以使用AI，保护隐私
weixin_44336445的博客
01-30 1万+
苹果笔记本本地部署deepseek主要用到Ollama与open-webui。
Mac下Ollama安装与设置：开启本地大模型之旅
最新发布
qq_36801966的博客
03-31 2307
Mac下Ollama安装与设置，开启本地大模型之旅
Mac环境下ollama部署和体验
Y525698136的博客
12-20 7123
ollama和LLM（大型语言模型）的关系，类似于docker和镜像，可以在ollama服务中管理和运行各种LLM，下面是ollama命令的参数，与docker管理镜像很类似，可以下载、删除、运行各种LLM
在Mac和Windows中Ollama开放局域网其他电脑访问
刘朋
09-18 1万+
ollama安装完毕后默认只能在本地访问，之前我都是安装其他的软件之后可以结合开放其他端口访问，其实是可以新增或修改下电脑的系统配置，就可以打开端口允许除本机IP或localhost访问。在mac电脑中，export设置的临时环境变量，每次开机都要如上设置下，比较麻烦，可以设置启动时自动执行此命令，达到永久生效的效果。保存并退出编辑器：在 nano 中，按 Ctrl + X，然后按 Y 确认保存。设置好后，使用以下语句查看输出刚设置的环境变量是否设置成功。1、设置之前先退出ollama程序。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1591
AI菜鸟向前飞 — LLM简介
Macos ./ollama目录说明
sre救赎之路
02-24 2193
通过以上步骤，你可以将Ollama的模型存储路径更改为你指定的目录。请确保新的存储目录具有足够的存储空间，并且你对该目录具有读写权限。根据Shell类型，编辑对应的配置文件。： 打开终端，创建一个新的目录作为模型存储路径。如果希望更改模型的存储路径，可以通过设置环境变量。如果输出是设置的路径，则说明环境变量设置成功。确认当前使用的Shell类型。，用于存储Ollama的配置信息。重启Ollama服务以使更改生效。，则你使用的是zsh；，用于存储下载的模型。，则使用的是bash。
DeepSeek-R1最佳本地部署+知识库+联网搜索（2个安装包1条命令搞定）.pdf
02-10
为了实现DeepSeek-R1的本地部署，用户需要遵循一系列简单步骤，首先需要下载并安装两个关键组件：Ollama官方版和AnythingLLM。具体步骤包括访问提供的下载链接，下载相应的软件安装包。完成下载后，下一步是选择合适...
Deepseek+R1+本地部署完全手册-7页.pdf
02-26
DeepSeek R1在本地部署时要求详细配置，具体包括核心配置要求、国产芯片与硬件适配方案、云端部署替代方案以及完整671B MoE模型的Ollama部署方法。在硬件配置方面，模型参数与不同操作系统的硬件要求相对应，包括...
每日DeepSeek之-本地部署Ollama方案
完颜振江
03-03 1390
Deepseek R1 是支持复杂推理、多模态处理、技术文档生成的高性能通用大语言模型。本手册为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯片适配、量化方案、云端替代方案及完整671B MoE模型的Ollama部署方法。核⼼提示个⼈⽤户：不建议部署32B及以上模型，硬件成本极高且运维复杂。企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。
5 分钟用满血 DeepSeek R1 搭建个人 AI 知识库（含本地部署）
热门推荐
Jay的个人博客
02-04 6万+
备注：评论区回复“DeepSeek”，免费领取万字DeepSeek指南。看到这里，相信你已经找到最适合自己的 DeepSeek 个人知识库方案了。如果你和大多数人一样，选择使用官方 API ，那就不用再为性能和本地硬件资源发愁；如果你恰好有充足的算力和技术储备，本地部署也是个不错的选择。不过，在整个过程中，我想和你分享的不仅仅是这些技术细节。而是一个中国团队能做出世界级大模型，一个需要 +86 才能注册的大模型。很庆幸，我们能作为中国 AI 技术进步的见证人。当然，暂时的领先不是终点。
在macOS中如何配置Ollama环境变量
huachangzai的博客
05-04 6949
【代码】在macOS中如何配置环境变量。
【DeepSeek】私有化本地部署图文（Win+Mac）
慕白Lee的博客
02-06 8902
总的来看，一般电脑比较适合部署14b版本，也算能用，毕竟是蒸馏版本，参数量在这放着呢，虽然是蒸馏版本，但也基本都保留了核心的推理能力。如果想跑更高版本的，硬件配置很多人吃不消的，个人的建议14b玩玩就行了。有台式机可以搞到128G运存的，可以尝试下32b/70b的版本的。专业可靠的还得是官方的满血版本，硬件配置要求太高了。还是不成功的请访问chatbox的帮助。1、安装Ollama。
250207-MacOS修改Ollama模型下载及运行的路径
专注机器学习之路
02-07 4534
通过以上步骤，您即可将 Ollama 的模型存储路径更改为您指定的目录。请确保新的存储目录具有足够的存储空间，并且您具有对该目录的读写权限。：如果您之前已经下载了模型，需要将原始目录中的模型文件复制到新的存储目录。如果您希望更改模型的存储路径，可以通过设置环境变量。：完成上述步骤后，重启 Ollama 应用，使更改生效。在 macOS 上，Ollama 默认将模型存储在。：首先，确定您希望存储模型的目标目录路径，例如。同样，请根据您的实际路径进行替换。替换为您实际的目标路径。
关于ollama 在mac的部署问题
monk96的博客
09-22 1463
接着运行命令 ollama run qwen2:7b。如Mac 设置 ～/.zshrc。可以开始本地大模型了。
ollama环境变量配置：修改ollama的数据路径（安装路径）
正经教主是个热衷于正经学习分享的教主。
02-13 1万+
ollama安装模型，如果很大，会占用C盘空间，影响系统运行速度，通过设置环境变量，来改变ollama放目录的地址。
Ollama模型下载路径替换
顺其自然~专栏
11-13 1万+
如果返回了如下图，因为是刚才新的路径，里面还没下载任何模型进去，所以只有标题行，没内容。=/path/to/ollama/models" # 记得替换路径！路径下的文件的权限用户和组都要是。将目标路径的所属用户和组改为。
Ollama本地部署大模型（Mac M1 ）
ddu-to-end的博客
12-31 7451
通过Ollama部署本地大模型
Macbook部署deepseek并训练
02-05
### 在 Macbook 上部署 DeepSeek 并开始模型训练 对于希望在 Macbook 上部署 DeepSeek 模型并进行训练的用户来说，可以利用 ollama 提供的服务简化这一过程。Ollama 是一种便捷工具，允许通过简单的命令行操作来启动不同类型的 AI 模型，而无需复杂的环境搭建或编写额外的推理代码[^2]。 #### 准备工作 为了确保顺利部署，建议先访问 Ollama 官方网站上的 "Models" 页面查看支持的 DeepSeek 版本，并依据 MacBook 的硬件条件挑选适合的模型大小。例如，配备 Apple M1 或更新型号芯片的设备能够更好地处理较大规模的数据集和更复杂计算任务，因此可考虑选用性能更强的 32B 参数量级版本；而对于配置稍低的情况，则推荐采用更为轻便的 1.5B 版本来减少资源占用[^3]。 #### 部署步骤说明 一旦决定了具体的模型规格之后，接下来就是实际的操作环节： - 打开终端应用； - 输入 `ollama install` 命令加上所选模型的具体标签（如 `ollama install deepseek-r1:32b`），这将会自动下载所需的文件到本地环境中； - 下载完成后，可以通过 `ollama run deepseek-r1:32b` 启动选定的 DeepSeek 实例。 需要注意的是，默认情况下上述流程仅实现了模型加载而非正式进入训练阶段。要真正开启训练模式，通常还需要准备相应的数据集以及定义好训练参数设置等内容。不过，在某些预设场景下，部分模型可能已经内置了一定程度上的自动化机制，使得初次使用者可以直接体验其功能特性而不必立即深入细节调整。 ```bash # 示例：安装指定版本的 DeepSeek 模型 $ ollama install deepseek-r1:32b # 示例：运行已安装好的 DeepSeek 模型实例 $ ollama run deepseek-r1:32b ``` 由于官方文档并未提及针对 Macbook 用户特别定制化的训练指南，所以在尝试自行开展训练之前，最好查阅最新的技术手册获取最权威的信息指导[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值