如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（下）

最新推荐文章于 2025-04-30 10:36:24 发布
最新推荐文章于 2025-04-30 10:36:24 发布
阅读量1k 收藏 15
点赞数 29
分类专栏： AWS技术 文章标签： 科技 亚马逊云科技 aws 人工智能 ai deepseek 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66628975/article/details/145695407
版权

在云端GPU服务器中部署DeepSeek-R1蒸馏模型文章的上篇内容中，我们在本文中介绍了如何配置和安装部署依赖项，在下篇中我们将继续利用Ollama部署DeepSeek，欢迎各位小伙伴们继续关注！

6. 部署Ollama服务器和Ollama Web UI

运行以下命令安装Ollama服务器并验证其可用性：

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
curl localhost:11434

在Ollama服务器开启的情况下，运行以下命令从Ollama库中拉取DeepSeek-R1-Distill-Qwen-14B模型：

docker exec -it ollama ollama pull deepseek-r1:14b

最后，设置Ollama Web UI，使用户可以通过Web浏览器与DeepSeek-R1-Distill-Qwen-14B进行交互。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

7. 配置应用程序负载均衡器（ALB）以访问云端部署的DeepSeek-R1

在亚马逊云科技管理控制台，导航到EC2页面，在左侧导航栏选择“负载均衡器”（Load Balancers）。选择“应用负载均衡器”（Application Load Balancer，ALB）作为负载均衡类型，并点击“创建”（Create）。

使用以下规格配置ALB：

  • 方案（Scheme）： Internet-facing
  • 负载均衡器IP地址类型（Load balancer IP address type）： IPv4
  • 网络设置（Network Settings）： 选择默认的VPC设置，并选择与EC2实例部署在相同可用区的选项
  • 安全组（Security Groups）： 选择在EC2配置步骤中创建的安全组

创建ALB以访问DeepSeek EC2 (1/5)

在“监听器和路由”（Listeners and Routing）部分，使用默认的HTTP:80设置，并点击“创建目标组”（Create target group）。

创建ALB以访问DeepSeek EC2 (2/5)

指定“实例”（Instances）作为目标类型（Target Type），命名目标组（Target Group）为deepseek-tg，然后点击“下一步”（Next）。

创建ALB以访问DeepSeek EC2 (3/5)

注册deepseek-r1实例作为目标（Target），指定端口3000，然后点击“Include as pending below”，接着点击“创建目标组”（Create Target Group）。

创建ALB以访问DeepSeek EC2 (4/5)

最后返回应用负载均衡器创建页面，选择挂载deepseek-r1目标组（Target Group），然后向下滚动并点击“创建负载均衡器”（Create Load Balancer）。

创建ALB以访问DeepSeek EC2 (5/5)

8. 通过ALB DNS访问Ollama Web UI上的DeepSeek-R-1

在亚马逊云科技管理控制台，导航到EC2页面，在左侧导航栏选择“负载均衡器”（Load Balancers）。选择在前一步中创建的deepseek-alb，并获取其DNS名称。

获取ALB DNS

在浏览器中输入ALB的DNS地址，你将看到一个注册页面：

访问Ollama Web UI

使用自己选择的电子邮件和密码进行注册，即可开始探索托管在亚马逊云科技EC2上的DeepSeek-R1-Distill-Qwen-14B，结合Ollama和Ollama Web UI进行交互！

使用ALB DNS访问DeepSeek-R1:14B

9.结论

DeepSeek-R1和DeepSeek-R1 Distill模型因其强大的推理能力而倍受欢迎。虽然DeepSeek-R1 Distill模型可以在GPU或AI芯片上部署，以获得最佳的低延迟和高吞吐性能，但并非所有使用场景都需要这种性能水平。在某些场景下，将模型托管在CPU上可以获得更优的性价比。要了解如何在EC2上使用CPU部署DeepSeek-R1 Distill模型，大家可以使用Amazon Gravition4芯片进行部署。

DeepSeek掘金—— AI性能极致体验 通过阿里云平台高效调用满血版DeepSeek-R1模型
02-19 3600
1.操作简单：整体操作流程较为简洁。用户只需根据阿里云提供的实操手册进行步骤操作，即可顺利完成API调用的配置和测试。对于熟悉阿里云产品的用户来说，界面非常熟悉，设置过程不会遇到过多的复杂步骤。5-8分钟左右可以搞定。2.易用性：手册详细说明了每个步骤的操作，用户只需按照提示逐步完成配置即可。通过百炼平台，用户能够轻松获得API-KEY并进行配置。对于没有使用过阿里云的用户，手册也提供了完整的指导，帮助用户顺利开始。3.用户友好性。
AI性能极致体验：通过阿里云平台高效调用满血版DeepSeek-R1模型
2401_84052244的博客
02-19 5724
1.操作简单：整体操作流程较为简洁。用户只需根据阿里云提供的实操手册进行步骤操作，即可顺利完成API调用的配置和测试。对于熟悉阿里云产品的用户来说，界面非常熟悉，设置过程不会遇到过多的复杂步骤。5-8分钟左右可以搞定。2.易用性：手册详细说明了每个步骤的操作，用户只需按照提示逐步完成配置即可。通过百炼平台，用户能够轻松获得API-KEY并进行配置。对于没有使用过阿里云的用户，手册也提供了完整的指导，帮助用户顺利开始。3.用户友好性。
如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（上）
佛州小李哥的博客
02-18 836
小李哥今天将介绍，如何使用Ollama在云计算平台上，通过Amazon EC2 GPU服务器部署DeepSeek-R1-Distill-Qwen-14B。DeepSeek是坐落于杭州的人工智能公司，近期因其创新的AI模型引起了广泛关注。这些模型不仅在性能上可与国际上领先AI模型媲美，同时具备更高的性价比。该公司于2025年1月20日发布的DeepSeek-R1，在数学、代码和推理任务方面与OpenAI的o1推理模型相当，但成本不到其10%。
DeepSeek-R1 蒸馏模型及如何用 Ollama 在本地运行DeepSeek-R1
llm_way的博客
01-26 1万+
在人工智能飞速发展的领域中，大型语言模型（LLMs）的出现可谓是一项重大变革。在这些模型里，DeepSeek - R1 及其蒸馏模型备受瞩目，它们融合了独特的能力与高可用性。今天我们一起聊一下 DeepSeek - R1 蒸馏模型究竟是什么，它们的工作原理、应用场景，并提供一份使用 Ollama 在本地运行 DeepSeek R1 的详细步骤指南。DeepSeek - R1 蒸馏模型（模型蒸馏（Model Distillation）：AI模型小型化与高效化之道）是强大的 DeepSeek - R1 人工智能
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案
2401_85375151的博客
04-22 959
系列模型是的蒸馏模型，官方提供了从1.5B - 70B不同尺寸大小的模型。特别适合在计算资源有限的环境中部署。各个版本的蒸馏模型评估结果如下：其中是通过对模型进行蒸馏得到的版本。该模型在评估结果中整体表现优异，在多项测试中均超过o1-mini，且在系列中效果和相差不大，但参数量近乎是的一半只有32B大小，因此可谓是本地部署的绝佳选择。本次实验就基于模型本地私有化部署，其中推理优化框架采用vLLM。vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成Modelscope。
DeepSeek-R1个人和企业本地快速部署手册（可商用）
2401_85375186的博客
02-05 4499
DeepSeek-R1已经将AI大模型带入了寻常百姓家，为AI的普及做出了巨大贡献。最后，我用DeepSeek-R1创作的一首诗来结束今天的分享。我的提示词：请你用DeepSeek-R1已经让AI大模型进入寻常百姓家为背景，仿刘禹锡的诗体，写一首属于你的诗句。《智咏》——DeepSeek-R1智启万门寻常巷陌无寒暑，一屏尽览古今情。莫道云端高难问，智能入世万象新。千帆竞发星河渡，万户轻吟数据鸣。且看AI春风里，笑与人间共潮生。
使用vLLM部署DeepSeek-R1-Distill-Qwen-7B模型：从环境配置到高效推理
m0_59163425的博客
03-04 2277
vLLM是一个高效、灵活且易于使用的大语言模型（LLM）推理和服务框架，专注于优化大规模语言模型的推理性能。vLLM是一个专注于大语言模型推理的高性能框架，通过创新的PagedAttention 机制和深度优化，显著提升了推理效率和内存利用率。无论是工业级应用还是学术研究，vLLM 都提供了一个强大且灵活的工具，帮助用户更高效地部署和运行大语言模型。
DeepSeek-R1个人和企业本地快速部署手册！
2301_76161259的博客
02-14 1148
DeepSeek-R1已经将AI大模型带入了寻常百姓家，为AI的普及做出了巨大贡献。最后，我用DeepSeek-R1创作的一首诗来结束今天的分享。我的提示词：请你用DeepSeek-R1已经让AI大模型进入寻常百姓家为背景，仿刘禹锡的诗体，写一首属于你的诗句。《智咏》——DeepSeek-R1智启万门寻常巷陌无寒暑，一屏尽览古今情。莫道云端高难问，智能入世万象新。千帆竞发星河渡，万户轻吟数据鸣。且看AI春风里，笑与人间共潮生。
DeepSeek-R1不同版本的 1.5B、7B、8B、14B、32B、70B、671B 主要区别以及各个蒸馏版本的优缺点
热门推荐
以为在机器学习领域与人工智能领域深耕多年的老牛
02-08 4万+
在人工智能大模型蓬勃发展的当下，DeepSeek-R1系列大模型凭借其出色的性能和广泛的应用潜力，受到了众多开发者和研究人员的关注。该系列包含1.5B、7B、8B、14B、32B、70B、671B等不同版本，每个版本都有其独特之处。今天，我们就来深入探讨一下这些版本的主要区别，以及各个蒸馏版本的优缺点，帮助大家在实际应用中做出更合适的选择。
零基础5分钟拥有自己的DeepSeek-R1满血版
key_3_feng的博客
02-12 1355
阿里云推出的DeepSeek解决方案，帮助用户轻松拥有满血版DeepSeek-R1。无需编程知识，最快10分钟完成部署，支持API调用、PAI平台、函数计算和GPU服务器等多种方式。方案具备低门槛、高弹性、成本优化等优势，尤其适合零基础用户。解决方案链接：https://www.aliyun.com/solution/tech-solution/deepseek-r1-for-platforms?utm_content=g_1000401616
双模多态驱动：DeepSeek-V3-0324与DeepSeek-R1医疗领域应用比较分析与混合应用讨论
AllenLV的博客
04-02 874
DeepSeek-V3-0324通过多Token预测、动态负载均衡和FP8混合精度训练等技术，显著提升了模型的实时性和计算效率，适合需要快速响应的医疗应用。而DeepSeek-R1 671B则通过云端异步处理和边缘云协同，增强了对复杂医疗任务的处理能力，但可能需要更高的硬件支持。
DeepSeek掘金——DeepSeek-R1对AI模型市场的影响
03-02 2999
DeepSeek 引发的股市抛售是盲目恐慌，还是终结的开始？DeepSeek 引发的股市抛售是盲目恐慌，还是终结的开始？本文是许多精彩对话的产物。你们俩总是提出非常具有挑战性的问题，并拥有最敏锐的见解，这迫使我变得更好。我很幸运能和你们成为朋友。自从 DeepSeek 推出他们的推理模型 R1 以来，很多人都在试图弄清楚它将如何影响人工智能市场。
艺术与科技的双向奔赴——高一鑫荣获加州联合表彰
最新发布
2401_89023604的博客
04-30 980
在这场全球环保议题聚焦的大会上,她通过音符讲述人与自然的共生哲学,琵琶的清音与自然主题的高度契合,打破了文化与环保之间的界限,为国际环保文化的传播贡献了重要的艺术力量。正是在这一类文化外交场合中,她的艺术表现不仅承载着个人的荣耀,更成为了中国文化软实力与价值主张的象征性输出。在颁奖典礼上,圣盖博市议员Jorge Herrera在致辞中高度赞扬了她:“高一鑫将科技与民族音乐教育深度结合,为传统艺术注入了时代动能,‘PitchPad’不仅让音乐教育跨越了时间和空间的限制,也为艺术教育领域注入了新活力。
万界星空科技QMS质量管理系统几大核心功能详解
alex8886的博客
04-29 570
QMS质量管理系统以其全面的功能覆盖、高度的灵活性以及强大的数据分析能力，为企业构筑起一道坚不可摧的质量防线。在追求零缺陷生产的道路上，QMS不仅是质量控制的工具，更是企业持续改进、提升竞争力的强有力支撑。
【展位预告】正也科技将携营销精细化管理解决方案出席中睿营销论坛
销讯通CRM
04-29 384
在AI与全球化浪潮下，医药企业需以数据为纽带、合规为基石、协同为路径，方能实现可持续增长。欢迎大家莅临现场沟通！是针对医药企业的营销智能管理平台，系列产品有：主数据管理平台、辖区管理系统、销讯通·行为管理、彩蝶·流向管理、芒哥·合规管理、虎珀·费用管理、财猫·订单管理。系统是面向未来的、基于”代表备案制度”体系下的医药营销智能管理系统，为医药企业提供主数据、辖区、行为等管理服务，为医药营销团队提供便捷实用性工具。：基于代表备案制度，整合GPS定位、AI技术，实现客户生命周期管理，优化团队效率。
万兴科技与华为云达成战略合作 共同推进AI大模型的技术和应用创新
weixin_43735236的博客
04-30 171
根据协议，双方将结合万兴科技在音视频大模型、AI应用、数字创意场景落地的优势，以及华为云在云基础设施建设、市场和生态拓展的优势展开全面而深入的合作，共同推进AI大模型的技术和应用创新。相信“盘古”与“天幕”的结合，定能携手开辟音视频垂类大模型赋能千行百业的更广阔天地，让每个人都能用AI分享创意灵感，让每个行业都能用AI探索更多可能。作为全球增长最快的主流云厂商之一，华为云致力于将AI大模型与行业核心业务系统结合，解决行业难题，释放AI生产力，与客户一起构建合作共赢的AI生态体系，加速AI应用落地。
TCL科技2025一季度归母净利润10.1亿，半导体显示业务业绩创新高
2401_89750123的博客
04-29 302
2024全年，TCL科技实现营业收入1648亿元，归母净利润15.6亿元；2025年一季度，TCL科技业绩稳中有进，实现营业收入401亿元，同比增长0.4%，归母净利润10.1亿元，同比增长322%，经营现金流121亿元，同比增长83%。净利润23.3亿元，同比增长329%，环比增长30%。根据公告，得益于显示行业格局优化与主流产品价格上涨，以及公司积极优化商业策略和业务结构，2024年度TCL科技半导体显示业务增长强劲，全年实现营收1043亿元，创历史新高，净利润超过62亿元，同比显著改善。
如何云端部署deepseek-R1
02-20
### 如何在云环境中部署 DeepSeek-R1 为了成功地在云端部署 DeepSeek-R1，可以遵循一系列特定的操作流程来确保应用程序能够顺利运行。首先建立映像的过程可以通过命令 `$ gcloud builds submit --tag gcr.io/$PROJECT_ID/endpoint-espv2` 来完成[^1]。 对于 Docker 映像的推送操作，则需执行 `docker push YOUR_USERNAME/myfirstapp` 命令以上传构建好的应用至容器仓库[^2]。然而针对 DeepSeek-R1 的具体部署过程可能涉及更多细节配置： #### 准备工作环境 确保本地开发机器上安装并配置好了 Google Cloud SDK 和 Docker 工具链。这一步骤至关重要，因为后续所有的操作都将依赖于这些工具集所提供的功能支持。 #### 构建自定义镜像 创建适合 DeepSeek-R1 运行所需的 Dockerfile 文件，在其中指定基础镜像以及必要的软件包和库文件。通过此方式定制化生成的应用程序镜像更贴合实际需求。 ```Dockerfile FROM python:3.9-slim-buster WORKDIR /app COPY . . RUN pip install --no-cache-dir -r requirements.txt CMD ["python", "main.py"] ``` #### 测试与验证 利用本地计算机上的 Docker 环境测试刚刚制作出来的镜像是否正常运作。一旦确认无误之后再考虑将其推送到远程服务器端进行进一步处理。 #### 发布到云端平台 借助之前提到过的两条指令分别实现 CI/CD 流水线中的打包编译环节以及最终制品分发阶段的任务目标。值得注意的是这里应当替换掉示例代码里的占位符变量（如 PROJECT_ID 或者 YOUR_USERNAME），使之指向真实的项目资源路径。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值