基于 GPUGEEK平台进行vLLM环境部署DeepSeek-R1-70B

最新推荐文章于 2025-05-16 13:11:32 发布
最新推荐文章于 2025-05-16 13:11:32 发布
阅读量1.1w 收藏 125
点赞数 108
文章标签： 服务器 linux 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_80863610/article/details/147964408
版权

选择 GPUGEEK 平台的原因

  • 算力资源丰富：GPUGEEK 提供多样且高性能的 GPU 资源，像英伟达高端 GPU 。DeepSeek - R1 - 70B 模型推理计算量巨大，需要强大算力支持，该平台能满足其对计算资源的高要求，保障推理高效运行。
  • 便捷易用：平台具备简洁直观的操作界面，降低了技术门槛，即使对部署细节不太熟悉的用户，也能较轻松地完成模型部署、资源管理等操作。
  • 灵活的资源配置：用户可依据实际需求灵活调整 GPU 资源规格、使用时长等，按需付费，既能满足模型部署的资源需求，又能有效控制成本 。
    image.png
    在模型资源上，样式多样化。像 DeepSeek 系列模型，从不同参数规模的版本一应俱全，为用户提供了多样化的选择，无论是追求极致性能的大型项目，还是轻量级的测试探索，都能在这里找到契合的模型，极大地拓宽了应用场景。
    image.png

算力供应方面，更是展现出强大实力。丰富多样的 GPU 类型，涵盖了从性价比突出的到顶级性能的各种型号，且价格设置合理，按小时计费灵活又实惠。在区域分布上也考虑周全，多个地区节点让用户能就近获取算力，有效降低延迟，保障运算的高效稳定。
image.png

操作体验同样出色。控制台界面简洁明了，基础配置与高级配置分区清晰，计量模式、地区、显卡类型等关键选项一目了然，即使是新手也能快速上手，轻松完成实例创建等操作，大幅提升了工作效率
image.png

GPUGEEK 平台凭借资源丰富、算力强劲、操作便捷等优势，为 AI 开发者和研究者们打造了一个理想的工作平台，如果你想体验下可以点击下面的链接注册哦

什么是vLLM环境部署DeepSeek-R1-70B

vLLM 环境部署 DeepSeek - R1 - 70B” 指的是在 vLLM（一个高效的大语言模型推理引擎 ）运行环境中，将 DeepSeek - R1 - 70B 语言模型进行部署，使其能够进行推理并提供服务。

  • 硬件要求：DeepSeek - R1 - 70B 参数量庞大，对硬件性能要求高。推荐使用高性能 GPU，如两块 RTX4090D ，搭配 i9 - 13900K 处理器、ddr5 6000hz 128GB 内存、1200W 电源及 2TB 存储 。若 GPU 显存有限，可能还需考虑磁盘空间作为显存交换区。
  • 软件环境：一般选用 Ubuntu20.04 等 Linux 系统 。需安装适配 GPU 的最新驱动，以及 CUDA 11.8（适配 PyTorch 2.0+ 和 bitsandbytes ） 。
    部署完成后，可结合 OpenWebUI 等工具在浏览器中与模型对话交互 。也可通过编写 Python 脚本，利用相关接口向模型发送请求获取回复 。

但是我们这里的话可以发现这里的硬件要求还是蛮高的，但是没关系，我们这里使用GPUGEEK平台完美解决本地配置达不到的要求

本地部署操作实战

在我们的镜像市场找到deepseek-ai/DeepSeek-R1/vLLM-DeepSeek-R1-70B，直接点击创建实例
image.png
按照我这个样子进行配置
image.png
这里我们稍等一会儿就好了，他这里的实例创建需要时间的
image.png
点击登录，复制相关的账号信息
image.png

#1.复制后的登录指令和登录密码如下
登录指令：ssh -p 42990 root@proxy-qy.gpugeek.com
密码：xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

#2.组建SSH隧道命令
ssh -CNg -L 8080:127.0.0.1:8080 root@proxy-qy.gpugeek.com -p 42990

#root@proxy-qy.gpugeek.com和42990分别是实例中SSH指令的登录地址与登录端口，需找到自己实例的ssh指令做相应替换
#8080是指代理实例内8080端口映射到本地电脑的8080端口来完成SSH隧道连接

我们接下来打开本地电脑的终端并建立SSH隧道连接
在桌面右键点击终端，将我们刚刚复制的两个信息依次复制上去
这个样子就说明我们登录上去了
image.png
执行如上命令后，没有任何输出是正常的。
注意：Windows下的cmd/powershell可能会提示密码错误，是因为无法粘贴，手动输入即可（输入密码时不会显示正在输入的密码)

#2.组建SSH隧道命令
ssh -CNg -L 8080:127.0.0.1:8080 root@proxy-qy.gpugeek.com -p 42990

#root@proxy-qy.gpugeek.com和42990分别是实例中SSH指令的登录地址与登录端口，需找到自己实例的ssh指令做相应替换
#8080是指代理实例内8080端口映射到本地电脑的8080端口来完成SSH隧道连接

可以像我这个样子
image.png然后我们打开浏览器访问 http://localhost:8080 地址打开web页面
image.png
输入好邮箱和密码我们就可以登录上来了
image.png
这里我们就完成了整个操作流程了

总结

在 OpenWebUI 界面可输入问题与模型对话，如提问 “Explain options trading” 等，模型能给出相应回复，标志着整个部署流程顺利完成，达成在浏览器中与 DeepSeek - R1 - 70B 模型交互对话的预期目标。

在实际部署过程中，GPUGEEK 平台优势尽显。其简洁直观的操作界面，使得即便对复杂技术不太精通的人员，也能快速上手进行模型部署操作。

如果你们也想体验下GPUGEEK里面的各种优秀的资源，你们可以点击链接进行注册操作

DeepSeek HuggingFace 70B Llama 版本 （DeepSeek-R1-Distill-Llama-70B）
简简单单Onlinezuozuo
02-14 968
DeepSeek-R1-Zero 是一种通过大规模强化学习 （RL） 训练的模型，没有监督微调 （SFT） 作为初步步骤，在推理方面表现出了卓越的性能。随着 RL 的出现，DeepSeek-R1-Zero 自然而然地出现了许多强大而有趣的推理行为。但是，DeepSeek-R1-Zero 遇到了无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能， DeepSeek 开始了 DeepSeek-R1，它在 RL 之前整合了冷启动数据。
大模型迎来2025开年大作：deepseek-R1与deepseek-R1-Zero
热门推荐
sexy19910923的博客
01-21 3万+
DeepSeek版o1，有消息了。还未正式发布，已在代码基准测试LiveCodeBench霸榜前三，表现与OpenAI o1的中档推理设置相当。 注意了，这不是在DeepSeek官方App已经能试玩的DeepSeek-R1-Lite-Preview（轻量预览版）。
GPUGeek云平台实战：DeepSeek-R1-70B大语言模型一站式部署
专注于 C/C++ 后端开发，涵盖基础语法、Linux系统与网络、MySQL数据库、常见算法及项目经验。
05-15 1万+
随着人工智能技术的迅猛发展，特别是在自然语言处理领域，大型语言模型如DeepSeek-R1-70B的出现，推动了各行各业的变革。为了应对这些庞大模型的计算需求，云计算平台的普及成为了关键，特别是基于GPU加速的云平台，能够提供高效、灵活的计算资源。
ollama 部署 deepseek-r1 70B 模型完整指南.pdf
02-10
在部署DeepSeek-R1 70B模型的完整过程中，首先需要进行模型的下载与准备。具体操作为通过ModelScope平台下载经过量化处理的GGUF格式模型文件。推荐选择Q5_K_M量化级别，这种量化级别可以在保持94%的精度下，将模型...
DeepSeek-R1技术报告论文
01-25
为了支持研究社区，DeepSeek-R1、DeepSeek-R1-Zero以及六个基于Qwen和Llama蒸馏的密集模型（包括1.5B、7B、8B、14B、32B、70B）被开源。报告中还提供了DeepSeek-R1的基准性能评估结果，这些结果涉及多个平台和任务，...
5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ
engchina的专栏
02-11 2329
5分钟在本地PC上使用VLLM快速启动Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ
Python Socket编程：实现简单的客户端-服务器通信
最新发布
2502_91189104的博客
05-16 573
这篇博客介绍了如何使用Python的socket模块实现基本的客户端-服务器通信。文章详细讲解了TCP socket编程的核心概念，包括服务器端的端口绑定、监听和连接接受，以及客户端的连接建立和数据收发。通过清晰的代码示例展示了完整的通信流程，并对关键代码进行了逐行解析。此外，博客还提供了检查端口占用的方法（netstat命令）和常见问题解决方案，最后给出了可直接复用的完整脚本。这篇教程适合网络编程初学者快速掌握Python socket的基本使用方法。
1T 服务器租用价格解析
yilinwangluo的博客
05-16 630
内存方面，从 8GB 到 64GB 甚至更高，容量越大，价格攀升越显著。知名云服务提供商，如阿里云、腾讯云、华为云、青蛙云等，凭借强大的技术实力、稳定的网络环境和完善的售后服务，价格往往处于较高区间。配置为 Intel Xeon E5 处理器、32GB 内存、1T SATA 硬盘、10M 独享带宽的云服务器，阿里云、腾讯云等大型云服务商，月租金大约在 1500-2500 元。在选择租用服务时，需结合自身需求，综合考量各方面因素，方能挑选到性价比高、稳定可靠的服务器租用方案，为业务发展筑牢基础。
服务器带宽基础知识
link458的博客
05-12 1186
服务器带宽是衡量服务器与互联网之间数据传输能力的关键指标，通常以Mbps或Gbps为单位。带宽分为上行带宽和下行带宽，其中上行带宽对服务器性能起决定性作用。带宽类型包括独享带宽和共享带宽，分别适用于高并发业务和低流量应用。带宽需求受业务类型、并发用户数、数据量等因素影响，需通过公式计算并结合冗余系数进行优化。优化带宽性能的策略包括使用CDN加速、数据压缩、缓存技术、负载均衡和协议优化。典型场景的带宽配置建议因业务需求而异，如企业官网需5-10M，电商平台需50-100M，视频直播需100M-1G，云计算集群
第三章：系统命令
m0_73941339的博客
05-15 1022
当系统内存不足时，操作系统会把暂时不需要的内存数据和程序信息通过交换机制存储到硬盘上的交换分区中，以节省内存的使用，从而保证共享内存的进程正常运行。`df` 命令是 Linux 系统中的一个磁盘空间使用情况查询命令，用于显示当前文件系统的磁盘空间使用状况，以及文件系统的挂载点、磁盘大小、已用空间、可用空间、使用占比等信息。总之，`curl` 命令是一个非常方便的工具，可以用于从网络中获取数据、上传文件等，并且支持多种协议和请求方式。<：将文件内容输入给某个命令，这是一种默认的行为，通常 < 是可以省略的。
命令行快速上传文件到SFTP服务器（附参考示例）
weixin_43425561的博客
05-14 519
本文介绍了SFTP命令的更新格式及其应用实例。新命令格式包括指定端口、用户名、服务器IP和远程路径，并通过put命令上传本地文件。文章详细解析了连接参数和操作指令，并提供了操作流程的验证方法，如网络连通性检查和上传操作执行。此外，还介绍了进阶配置示例，如公钥认证、多文件传输脚本和下载文件操作。最后，文章提供了故障排查指南，帮助解决常见问题，如连接超时、认证失败等。通过这些更新和配置，用户可以更高效地使用SFTP进行安全数据传输，特别适用于金融报文传输和机构数据交换场景。
服务器数据恢复—XFS文件系统分区消失的数据恢复案例
beiya123的博客
05-14 269
镜像完成后将所有磁盘按照编号还原到原服务器中，后续的数据分析和数据恢复操作都基于镜像文件进行，避免对原始磁盘数据造成二次破坏。7、数据恢复工程师对提取出来的文件进行验证，经过验证所有文件正常。raid块排列顺序等。3、在重组出的raid上定位分区起始位置，提取出整个xfs文件系统的数据。并对提取出的数据进行完整性和准确性的验证。管理员将服务器的操作系统重装后，发现服务器上的分区发生了改变：一个分区消失，其他分区不可访问。6、修复完成后，北亚企安数据恢复工程师编写程序解析xfs文件系统，提取其中的数据。
服务器被打了怎么应对
m0_70754056的博客
05-14 270
一些先进的DDoS防护系统可抵御高达T级的攻击流量，确保服务器在遭受大规模攻击时，依然能保持稳定运行，保障业务连续性。高防服务器通过流量牵引、流量清洗等技术，能快速识别恶意流量，并将其从正常业务流量中分离出来，确保业务不受攻击干扰，持续稳定运行。无论是更换高防服务器还是接入防护产品，都是应对云服务器攻击的有效手段。此外，部分防护产品还具备智能防护功能，可通过机器学习和大数据分析技术，自动学习业务正常流量特征，动态调整防护策略，精准识别和拦截新型攻击手段，为云服务器提供全方位、智能化的安全防护。
防御保护-----第十章：防火墙带宽管理
m0_75008371的博客
05-13 634
摘要：本章探讨了防火墙带宽管理的核心概念与实现方法。带宽管理通过带宽保证、带宽限制和连接数限制，优化网络资源利用，避免带宽耗尽。带宽通道将物理带宽划分为虚拟资源，支持最大带宽、保证带宽和连接数限制的上下行设置。带宽策略通过引用带宽通道，实现对流量的精细控制，支持多级策略和配额策略。流量转发优先级通过DSCP标记，结合流量监管和整形机制，确保高优先级流量优先转发。实验部分展示了如何配置带宽通道、策略及接口带宽，以满足企业不同部门的带宽需求，如限制部门A及其销售组的下行带宽。
服务器选购指南：从零开始了解服务器
Luck_ff的博客
05-15 882
服务器本质上是一台特殊的计算机，与我们日常使用的个人电脑相比，它被设计用来提供各种服务和资源。服务器可以做什么？网站托管：运行网站程序，存储网页内容和数据库应用部署：运行各种应用程序，如邮件系统、CRM系统等数据存储：提供大容量存储空间，保存重要数据计算处理：执行复杂的计算任务，如大数据分析、人工智能训练游戏服务：支持多人在线游戏流媒体服务：提供视频、音频等流媒体内容选择合适的服务器需要考虑多方面因素，包括性能需求、预算限制、扩展性和安全性等。
个人博客系统测试报告
m0_63562631的博客
05-12 1086
文章总结了作者在学习SpringBoot后，基于个人需求开发了一个博客系统，并进行了详细的测试。项目功能包括登录、博客列表展示、博客发布与删除、注销等。测试主要使用Selenium进行UI自动化测试，涵盖了登录、博客列表、博客详情等页面的功能测试，并记录了测试用例和实际结果。测试过程中遇到了一些问题，如弹窗截图异常、元素定位失败等，并提供了相应的解决方法。最后，作者总结了测试结果，指出了系统中的BUG，并提出了优化建议，如同步文章数量、改进弹窗提示等，以提升用户体验。
GCC 使用说明
2401_89600819的博客
05-15 860
不加fPIC编译出来的so,是要再加载时根据加载到的位置再次重定位的.(因为它里面的代码并不是位置无关代码) 如果被多个应用程序共同使用,那么它们必须每个程序维护一份so的代码副本了.(因为so被每个程序加载的位置都不同,显然这些重定位后的代码也不同,当然不能共享) 我们总是用fPIC来生成so,也从来不用fPIC来生成a. fPIC与动态链接可以说基本没有关系,libc.so一样可以不用fPIC编译,只是这样的so必须要在加载到用户程序的地址空间时重定向所有表目.ok，这样就可以成功得到最终的程序了。
【Vite】前端开发服务器的配置
L_xxxxxxx的博客
05-16 112
【Vite】前端开发服务器的配置，定义一些开发服务器的行为和代理规则
day011-12-老男孩教育-用户管理与软件管理体系-习题
输能力，不输人品 ！
05-13 1050
inode：索引节点，记录文件的属性信息和block位置block：存储数据相对路径：相对于目前工作目录的路径绝对路径：从根目录开始的路径j4j4/bin/bashdodone。
vllm部署 DeepSeek-R1:70B
02-27
### 如何使用 vLLM 部署 DeepSeek-R1 70B 模型 对于具有较大规模的模型如 DeepSeek-R1 70B 的部署，考虑到其庞大的参数量以及所需的计算资源，建议采用分布式推理的方式来进行部署。基于此需求，在准备阶段需确认硬件环境满足条件，并按照特定配置来设置软件环境。 #### 准备工作 确保服务器配备足够的 GPU 资源支持大模型加载与运行。由于该模型体积庞大，推荐至少拥有多个具备高显存容量（例如 A100 或 H100 类型）GPU 卡的工作站或集群节点用于加速运算过程[^1]。 #### 下载并安装依赖项 通过 `pip` 安装必要的 Python 库以构建适合于处理大规模预训练语言模型的服务端应用： ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 pip install transformers sentencepiece ``` #### 获取模型权重文件 访问 Ollama 平台上的 Models 页面，定位到目标版本即 DeepSeek-R1 70B 。下载对应架构下的权重文件至本地存储路径 `/app/deepseek/DeepSeek-R1-70B` 中以便后续调用。 #### 补充模型元数据 针对已获取但缺少必要描述信息的情况，可利用 ModelScope 工具完成补充操作： ```bash modelscope download --model deepseek-ai/DeepSeek-R1-70B --exclude *.safetensors --local_dir /app/deepseek/DeepSeek-R1-70B ``` #### 启动量化推理服务 为了提高效率降低内存占用率，可以通过指定 FP8 量化方式启动服务实例；同时调整张量切分数量适应多卡协同作业场景： ```bash vllm serve /app/deepseek/DeepSeek-R1-70B \ --host 0.0.0.0 --port 6006 \ --quantization="fp8" \ --tensor-parallel-size 4 \ --max_model_len 32384 \ --served-model-name deepseek-ai/deepseek-r1:70b ``` 上述命令中设置了主机地址为任意 IP 可达(`0.0.0.0`)、监听端口设为 `6006` ，启用了FP8精度优化选项[--quantization="fp8"]，指定了四个进程间通信单元参与任务分配[--tensor-parallel-size 4]，限定了单次请求最大长度不超过 `32,384` tokens [--max_model_len 32384]，最后给定了一个易于识别的服务名称[--served-model-name deepseek-ai/deepseek-r1:70b][^2]。
评论 95
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Undoom

感谢啦

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值