Mac本地部署DeepSeek蒸馏模型指南：Ollama极简手册

最新推荐文章于 2025-03-05 12:01:56 发布
最新推荐文章于 2025-03-05 12:01:56 发布
阅读量5.4k 收藏 25
点赞数 42
文章标签： macos 人工智能 deepseek AI大模型 产品经理 llama ollama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/145468541
版权

🍎 Mac本地部署DeepSeek蒸馏模型指南：Ollama极简手册

——让你的Mac变身“AI小钢炮”💥

一、准备工作：Mac的“硬件咖啡豆研磨器”

1.1 最低配置要求
组件入门级（7B模型）旗舰级（33B模型）
芯片M1（2020款）M2 Pro/Max（2023款）
内存8GB（需关闭Chrome）32GB（可边跑AI边刷剧）
硬盘15GB空间（留点地方给猫片）100GB+（模型全家桶爱好者）
系统macOS Monterey 12.3+Ventura 13.1+（推荐）

📌 冷知识：DeepSeek蒸馏模型=原模型的"精华萃取版"，体积缩小40%，性能保留85%！

1.2 必备软件

•Ollama：模型管理神器（官网[1]）•Homebrew：Mac界的软件百宝箱•Python 3.10+：建议通过Miniforge安装ARM原生版

二、安装步骤：3步召唤AI小精灵🧞

Step 1：安装Ollama（比泡面还快）
`# 一键安装（终端输入）`  `/bin/bash -c "$(curl -fsSL https://ollama.ai/install.sh)"`  `   ``# 验证安装（看到版本号就算成功）`  `ollama --version`  `# 输出示例：ollama version 0.1.12 darwin/arm64`
Step 2：下载DeepSeek模型（选你爱的口味）
`# 基础编程模型（程序员必装）`  `ollama pull deepseek-coder-7b`  `   ``# 聊天模型（含互联网最新知识）`  `ollama pull deepseek-chat-7b`  `   ``# 国内加速技巧（替换镜像源）`  `OLLAMA_MODELS=https://mirror.example.com ollama pull deepseek-math-7b`
Step 3：启动对话（和AI说“嗨”）
`# 基础模式`  `ollama run deepseek-chat-7b "用东北话解释量子纠缠"`  `   ``# 高级模式（开启GPU加速）`  `OLLAMA_GPU_LAYER=metal ollama run deepseek-coder-7b`

三、模型对比：找到你的“灵魂伴侣”🤖

模型名称内存占用硬盘需求推理速度擅长领域
1.3B2.4GB0.8GB⚡⚡⚡⚡数学计算/快速问答
7B8GB4GB⚡⚡⚡代码生成/日常对话
13B16GB8GB⚡⚡创意写作/专业咨询
33B32GB+16GB⚡论文润色/复杂推理

💡 选择建议：

•M1用户：7B模型是甜蜜点•M2 Pro用户：可挑战13B模型•内存焦虑症患者：试试--num-gpu 50%限制显存

四、黄金搭档软件：生产力开挂套装🚀

4.1 交互神器

•Chatbox：颜值爆表的聊天界面（下载地址https://chatboxai.app/zh#download）

brew install --cask chatbox

•Ollama WebUI（Docker版本）：浏览器随时访问

docker run -d -p 3000:3000 -v ollama:/root/.ollama -e OLLAMA_HOST=127.0.0.1:11434 ghcr.io/ollama-webui/ollama-webui:main

4.2 开发神器

•VS Code插件：•Continue：代码自动补全•Ollama Assistant：侧边栏直接对话

4.3 效率神器

•Alfred Workflow（下载地址：https://www.alfredapp.com/workflows）：快捷键秒呼AI

Alfred配置

•PopClip扩展：划词即刻提问

五、本地部署的5大核弹级优势💣

5.1 隐私安全

•你的聊天记录不会成为训练数据（想象和AI吐槽老板的内容被上传…😱）

5.2 离线王者
`# 飞机上写代码成就达成！`  `sudo ifconfig en0 down && ollama run deepseek-coder-7b`
5.3 定制自由

•魔改提示词：

SYSTEM_PROMPT = "你现在是精通阴阳怪气的北京出租车司机"

•加载私人知识库：

ollama run deepseek-rag-33b --attach ~/Documents/my_knowledge.zip
5.4 成本控制
方案7B模型年成本
云端API≈$720（按$0.002/1k tokens）
本地部署$0（电费≈一杯奶茶钱）
5.5 硬件压榨

•M系列芯片的神经网络引擎（ANE）火力全开•外接显卡扩展：

# 使用eGPU加速（AMD显卡限定）  OLLAMA_GPU_LAYER=rocm ollama run deepseek-13b

六、常见问题急救包🆘

Q1：下载模型卡住怎么办？

`# 国内镜像加速（任选其一）`  `export OLLAMA_MODELS=https://mirror.example.com`  `export OLLAMA_HOST=mirror.ghproxy.com`

Q2：内存爆炸怎么救？

`# 启用4-bit量化`  `ollama run deepseek-7b --quantize q4_1`  `   ``# 限制GPU使用率`  `OLLAMA_GPU_UTILIZATION=50% ollama run...`

Q3：如何让AI记住对话？

`# 启动时加载历史记录`  `ollama run deepseek-chat-7b --history-file ~/ai_chat_history.json`

🎁 终极彩蛋：模型变身指南

`# 让AI用甄嬛体写代码注释`  `ollama run deepseek-coder-7b --prompt-template "说句代码注释便是极好的，倒也不负恩泽。\n{{.Prompt}}"`  `   ``# 创建私人模型分身`  `ollama create my-ai -f Modelfile  # 内含自定义指令`

现在，你的Mac已经解锁AI超能力！遇到问题时记住：
“重启解决90%的问题，剩下的10%需要再喝一杯咖啡☕”

如果想使用在线的R1模型 可以去硅基流动官网[2] 申请在线API使用 在我的往期教程里面就有

可以关注我的博客 里面都是我最新的文章：我的博客[3] 有源代码需求也可以关注我的：我的小店[4]

References

[1] 官网: https://ollama.ai/
[2] 硅基流动官网: https://cloud.siliconflow.cn/i/BWEwNgw1
[3] 我的博客: https://blog.worldcodeing.com/
[4] 我的小店: https://www.worldcodeing.com/

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Llama-Turbo
关注
DeepSeek R1蒸馏版模型部署的实战教程
herosunly的博客
02-09 4万+
本文主要介绍了DeepSeek R1蒸馏版模型部署的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型 3. 运行代码 3.1 启动模型服务 3.2 模型调用
AI大模型：（二）1.1 ollama本地快速部署deepseek
最新发布
yztezhl的专栏
03-21 559
Ollama 是一个开源的大型语言模型（LLM）服务工具，旨在简化本地部署和运行大型语言模型的过程。它支持多种流行的开源模型（如 LLaMA、Mistral、Gemma 等），并提供命令行交互和类似 OpenAI 的 API 接口，方便开发者快速集成和使用。
Ollama全面指南：安装、使用与高级定制
热门推荐
全世界的博客
05-30 13万+
Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。Ollama提供了一个直观且用户友好的平台，用于在本地环境中运行大型语言模型。启动Ollama服务：首先，确保Ollama服务已经安装并运行。在命令行中输入以启动服务。选择模型：使用命令查看可用的模型列表。
如何在自己mac电脑上私有化部署deep seek
qq_36053756的博客
02-05 1万+
通过以上步骤，你可以在 Mac 电脑上成功私有化部署 DeepSeek。如果有具体问题，可以提供更多细节，我会进一步协助！
本地部署DeepSeek教程（Mac版本）
weixin_59685936的博客
02-01 2万+
本地部署DeepSeek教程（Mac版本）
deepseek-r1(Mac版 安装教程)
weixin_44911248的博客
01-28 1万+
deepseek-r1 mac端本地部署教程
Windows下最详尽的Ollama+Deepseek-r1 本地部署手册
huang9604的博客
02-05 2万+
Windows下最详尽的Ollama+Deepseek-r1 本地部署手册
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2566
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
使用Ollama本地部署DeepSeek R1模型：从零到精通的完整指南
weixin_42489549的博客
02-12 1万+
DeepSeek R1是由中国人工智能公司深度求索（DeepSeek）推出的高性能开源模型，其推理能力接近GPT-4 Turbo，且支持本地部署，兼顾数据隐私与成本效益。本教程将详细介绍如何通过Ollama工具在本地设备上部署DeepSeek R1模型，并优化其性能与交互体验。
ubuntu 本地部署deepseek r1 蒸馏模型
鲨鱼儿的博客
02-07 1310
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，旨在完全离线操作。它支持各种 LLM 运行器，如 Ollama 和 OpenAI 兼容的 API，内置 RAG 推理引擎，使其成为强大的 AI 部署解决方案。
DeepSeek-R1 蒸馏模型及如何用 Ollama 在本地运行DeepSeek-R1
llm_way的博客
01-26 1万+
在人工智能飞速发展的领域中，大型语言模型（LLMs）的出现可谓是一项重大变革。在这些模型里，DeepSeek - R1 及其蒸馏模型备受瞩目，它们融合了独特的能力与高可用性。今天我们一起聊一下 DeepSeek - R1 蒸馏模型究竟是什么，它们的工作原理、应用场景，并提供一份使用 Ollama 在本地运行 DeepSeek R1 的详细步骤指南。DeepSeek - R1 蒸馏模型（模型蒸馏（Model Distillation）：AI模型小型化与高效化之道）是强大的 DeepSeek - R1 人工智能
汽车行业应用：DeepSeek蒸馏模型在故障诊断系统中的部署与优化.pdf
02-15
该文档【汽车行业应用：DeepSeek蒸馏模型在故障诊断系统中的部署与优化】共计 18 页，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。
加固你的Ollama，避免安全风险！实操手册！
huang9604的博客
03-05 3215
一篇阅读超10万的安全通报，相信很多朋友都看到了。这让自己部署Ollama一下子成了高危的事情。安全无小事，如果是在公网上部署Ollama来用的话，一定要参考公告把相关的措施配置好，防火墙等一定要打开，这其实也都是网工日常工作中的基本操作。而个人在局域网中部署Ollama之后，要如何做才能更安全呢，来一起看看具体怎么操作吧。个人局域网中部署的话，因为我们基本上不会把Ollama的服务直接暴露出去，所以相对安全。它受攻击的几率和你安装的其它应用，比如Steam，微信等等受攻击的几率基本一样。
本地上百个大模型便携部署调用工具 Ollama 使用指南
数智笔记
04-14 2万+
Ollama 支持在 Modelfile 中导入 GGUF 模型：创建一个名为Modelfile的文件，使用FROM指令指定要导入的模型的本地文件路径。创建模型运行模型可以使用提示来自定义 Ollama 模型。例如，要自定义llama2创建一个Modelfile# 设置温度为 1 [值越高越有创造性，值越低越连贯]# 设置系统消息SYSTEM """""">>> hiHello!更多示例，请参考examples目录。有关使用 Modelfile 的更多信息，请参考Modelfile文档。
Ollama 本地运行大模型(LLM)完全指南
python1234567_的博客
09-09 6156
Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源工具。它让用户无需深入了解复杂的底层技术，就能轻松地加载、运行和交互各种LLM模型。本地和服务器Ollama 最初是被设计为本地（主要是开发）运行LLM的工具，当然现在也可以在服务器（面向用户并发提供服务）上使用，并且兼容 OpenAI 接口，可以作为 OpenAI 的私有化部署方案。• 本地部署：不依赖云端服务，用户可以在自己的设备上运行模型，保护数据隐私。
Mac本地部署deepseek教程
destiny503的博客
02-05 5476
本地下载使用deepseek模型
Mac 版 本地部署deepseek ➕ RAGflow 知识库搭建流程分享（附问题解决方法）
sinat_37905754的博客
02-25 3397
1、在输入该命令：docker compose -f docker/docker-compose-base.yml up -d 进行 docker 拉取过程中会报如下类似错误：Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while... ,原因可能是 docker 拉不动，缺少国内镜像导致的。
RAGFlow+Ollama+DeepSeek：大模型应用开发的黄金三角组合
herongtianbu的博客
02-06 1845
结语： RAGFlow+Ollama+DeepSeek的组合正在成为大模型应用开发的新基建。这个技术三角不仅降低了开发门槛，更通过模块化设计赋予开发者极大的灵活性。无论你是初创团队还是大型企业，掌握这个技术组合都将在AI应用开发赛道上获得显著优势。在AI技术日新月异的今天，如何快速构建高效可靠的大模型应用？本文将揭秘由RAGFlow、Ollama和DeepSeek组成的黄金技术组合，这三个工具正在重塑大模型应用开发的新范式。模型蒸馏：使用Ollama进行模型轻量化。医疗科研机构加速文献分析速度。
本地部署DeepSeek + Ragflow
效率开发者手札
02-08 1616
Mac、Windows 本地部署DeepSeek + Ragflow，ollama + docker
本地部署deepseek蒸馏模型
02-07
### 如何在本地环境部署 DeepSeek 蒸馏模型 #### 安装 Ollama 平台 为了能够在本地环境中成功部署 DeepSeek 蒸馏模型，首先需要安装 Ollama 这一平台工具。Ollama 是一款用于管理和运行大型语言模型的服务框架，支持多种预训练模型的快速加载与调用[^1]。 对于 Windows 用户来说，在命令提示符下输入 `choco install ollama` 即可完成安装；而对于 macOS 和 Linux 用户，则可以通过 Homebrew 或者直接利用 curl 命令来获取最新版本： ```bash # 对于macOS/Linux用户而言 curl https://ollama.com/install.sh | sh ``` #### 获取并配置 DeepSeek 模型文件 接着要准备 DeepSeek 的具体模型文件。由于网络条件差异可能导致官方源下载速度较慢，建议访问国内的大模型镜像站点或者 ModelScope 来加速这一过程[^3]。注意选择带有 `.gguf` 后缀名的压缩包形式，并将其解压至指定目录以便后续操作。 #### 使用 Python 访问已部署好的 DeepSeek 实例 一旦完成了上述准备工作之后，就可以借助 Python SDK 方便地同已经启动起来的服务端口建立连接了。下面给出了一段简单的代码片段用来展示基本交互方式[^2]: ```python from ollama import Client, Config config = Config( api_key="your_api_key_here", ) client = Client(config=config) response = client.generate(prompt="你好世界", model_name="deepseek-r1") print(response['choices'][0]['text']) ``` 在此基础上还可以进一步探索更多高级特性比如微调参数设置、批量处理请求等功能模块以满足不同应用场景下的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值