k8s&vllm&ollama部署deepseek-R1模型,内网无坑

已于 2025-06-10 18:17:10 修改
阅读量1.4k 收藏 6
点赞数 11
CC 4.0 BY-SA版权
文章标签： deepseek ollama k8s 大模型 离线部署
于 2025-02-06 14:44:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30632605/article/details/145473078

这是目录

linux下载ollama

在这里插入图片描述

下载后可存放其他服务器

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

解压后将ollama二进制文件放到/usr/bin/下

做成systemd管理方式参考
在这里插入图片描述

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target
<
最低0.47元/天 解锁文章

200万优质内容无限畅学
徐念凉z
关注
AI智算-K8s+vLLM & Ray：DeepSeek-r1 671B 满血版分布式推理部署实践
Kason_iWiki
04-09 748
自从上次发布 【AI-智算】K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略] 文章后，本次将演示另一个主流推理引擎工具——vLLM，结合K8s、LWS、Ray、Volcano等技术栈，部署DeepSeek-r1 671b 满血版分布式推理集群，并对比其与SGLang推理引擎的性能表现。
AI智算-k8s部署DeepSeek Janus-Pro-7B 多模态大模型
Kason_iWiki
02-07 878
k8s部署 DeepSeek Janus Pro 多模态大模型，它是基于 DeepSeek 团队开发的 Janus 系列模型的高级版本，旨在统一多模态理解与生成任务。Janus 系列模型通过解耦视觉编码路径，解决了传统多模态模型在理解与生成任务中的冲突问题，同时保持了单个统一的 Transformer 架构。这种创新的设计不仅提高了模型的灵活性，还在多个标准基准测试中超越了专门的任务模型。
劲省85%云成本！在K8s上使用Karpenter私有部署DeepSeek-R1
cloudpilot_ai的博客
02-08 1294
在本教程中，我们将初步尝试在阿里云ACK上托管DeepSeek-R1模型，并使用Karpenter阿里云Provider动态扩缩GPU节点资源。
在k8s中containerd 或者 docker 功能是相同的吗，比如docker中运行ollama在containerd 也可以运行吗？
最新发布
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
06-03 977
K8s中containerd和Docker作为容器运行时的区别：Docker提供完整容器管理功能但资源消耗大，containerd更轻量专注运行时且是K8s官方推荐。两者均可运行Ollama等OCI标准镜像，但Docker CLI更友好适合开发，containerd需使用ctr/nerdctl工具。建议K8s生产环境使用containerd，开发测试可用Docker。Ollama部署时需注意两者在GPU支持和网络配置上的差异。
K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略
2401_85390073的博客
02-16 4825
硬件配置服务器数量（台）CPU（核）内存（TB）系统版本RDMA21922.0Ti软件平台软件名称版本备注Kubernetesv1.30.6容器编排引擎v24.9.1自动化管理配置GPU驱动程序Volcanov1.9.0调度引擎560.35.03GPU驱动560.35.03NVSwitch互联CUDA12.6MLNX_OFEDIB驱动NCCL2.21.5GPU多卡通信SGLangLLM推理引擎v0.5.1。
k8s部署满血版Deepseek-R1
忘记旧账号的运维~
02-10 1093
Deepseek-R1 k8s部署
K8S 1.30环境中私有化部署 Ollama 和 DeepSeek-R1（671B模型）
weixin_38320674的博客
02-18 859
欢迎关注我的公众号「DevOps和k8s全栈技术」，进公众号【服务】栏，可以看到技术群，点击即可加入学习交流群。↓↓↓关注公众号，免费学技术，避免被割哦~不同模型参数，配置要求如下：一、理论介绍：1.OllamaOllama是一个由 Ollama 公司开发的 AI 模型工具。它专注于将大规模语言模型（如 GPT-3 和其他类似模型）进行本地化部署，特别是让这些模型可以在用户自己的硬件上运行，而...
生产环境 K8S + Deepseek 实现大模型部署 和 容器调度（图解+史上最全）
架构师尼恩
04-10 2207
生产环境 K8S + Deepseek 实现大模型部署 和 容器调度（图解+史上最全）
（三）穷人技术部署方案：基于K80显卡的DeepSeek-Ollama部署
gzgenius的博客
03-13 1727
基于K80显卡的DeepSeek-Ollama部署
DeepSeek介绍与部署
super_mochi1
01-28 1万+
DeepSeek 是一家由中国知名量化私募巨头幻方量化创立的人工智能公司，致力于开发高效、高性能的生成式 AI 模型。自2023年7月成立以来，DeepSeek在短短一年多的时间里取得了显著的进展，推出了多个引人注目的开源模型，包括 DeepSeek Coder、DeepSeek LLM、DeepSeek-V2、DeepSeek-V3 和 DeepSeek-R1。成立时间：2023年7月17日母公司：幻方量化，一家规模超过百亿的私募量化基金，为DeepSeek提供了坚实的资金支持。
DeepSeek安装部署指南
SAFE20242034的博客
01-28 2万+
DeepSeek 是一个用于高效文档检索的工具包。： 检查 DeepSeek 提供的预训练模型链接（通常在官方文档或 GitHub 页面上会有）。如需更具体的安装文档或遇到特定问题，可以参考。或提供更多详细信息以帮助解决问题。
Kubernetes部署Deepseek(内网环境)
刘元林的博客
04-30 709
n\u003c/think\u003e\n\n**解答：**\n\n我们来比较一下 \\(3{.}11\\) 和 \\(3{.}3\\) 的大小。\n\n1. **比较整数部分：**\n \\[\n 3 \\quad (3{.}11) \\quad \\text{和} \\quad 3 \\quad (3{.}3)\n \\]\n 整数部分相同，都为3。如果这里创建的PV不对，ollama-models-store创建的PVC将找不到可以绑定的PV，而一直pending。
DeepSeek本地部署教程(保姆级教程)
XXXXsssxwd的博客
01-30 1万+
【代码】DeepSeek本地部署教程(保姆级教程)
在Kubernetes上部署DeepSeek-R1进行高效AI推理
佛州小李哥的博客
02-17 1万+
通过本教程，大家可以高效地在Amazon EKS上部署DeepSeek R1模型，利用其灵活的扩展选项和精细化计算资源控制，在优化成本的同时保持高性能。该方案充分利用了Kubernetes的原生功能，结合Amazon EKS的Auto Mode特性，提供了一种高度自定义的部署方式，可以根据具体的运营需求和预算进行精确调整。如果大家希望进一步探索其他部署模式（如使用Neuron或开源Karpenter进行部署），可以访问GitHub仓库deepseek-using-vllm-on-eks，获取更多代码示例。
在 Kubernetes(k8s)集群中部署AI大模型 ollama并启用GPU加速
进击的Blazor
12-05 5297
进入 Ollama 服务对应的 pod 内部，执行 ollama run llama3 命令进行模型安装。若提前构建了模型的镜像并在部署步骤中进行了部署，则可省略此手动安装步骤。命令，即可获取模型对职场冲突处理相关问题的回答，展示了 Ollama 服务在 Kubernetes 环境中正常运行并能够对外提供大模型服务的能力。模型安装完成后，在 namespace 下的其他 pod 中可通过 curl 命令向 Ollama 服务请求已安装的模型。：在本教程中，Ollama 只会使用 1 个 GPU。
K8s GPU 资源管理探索：在 KubeSphere 上部署 AI 大模型 Ollama
KubeSphere
07-10 2494
作者：运维有术星主随着人工智能、机器学习、AI 大模型技术的迅猛发展，我们对计算资源的需求也在不断攀升。特别是对于需要处理大规模数据和复杂算法的 AI 大模型，GPU 资源的使用变得至关重要。对于运维工程师而言，掌握如何在 Kubernetes 集群上管理和配置 GPU 资源，以及如何高效部署依赖这些资源的应用，已成为一项不可或缺的技能。今天，我将带领大家深入了解如何在 KubeSphere 平台上，利用 Kubernetes 强大的生态和工具，实现 GPU 资源的管理和应用部署。
小白都能看懂，deepseek本地部署教程
热门推荐
python123456_的博客
02-05 3万+
日志查看端口冲突OLLAMA_HOST=0.0.0.0:11435 ollama serve # 指定新端口。
K8sGPT+Ollama：免费的 Kubernetes 自动化诊断方案
hanfengzxh的博客
06-18 814
周末检查博客草稿，发现了这篇。记得当时是与一起写的，算算过去了一年之久，这拖延症也算是病入膏肓了。原本想使用 K8sGPT +的方案，由于之前试过，感觉使用起来也更加友好，而且 Ollama 同样提供了，索性改成用 Ollama 吧。介绍 k8sgpt-operator 的文章发布后，有小伙伴反馈 OpenAI 的使用门槛，这个问题确实比较棘手，但也不是不能解决。不过本文并不是介绍如何解决这种问题的，而是介绍 OpenAI 的替代方案： Ollama。
ollama run deepseek-r1:7b
02-08
为了运行名为 `deepseek-r1:7b` 的模型或容器，可以采用 Docker 或 Kubernetes 平台来部署。以下是基于 Ollama 环境下的具体操作方法。 #### 使用 Docker 命令启动容器 如果已经拥有该镜像，则可以直接通过命令行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值