免费白嫖GPU算力,搭建属于自己的DeepSeek-R1

免费白嫖GPU算力,搭建属于自己的DeepSeek-R1

如今,大模型技术飞速发展、快速普及,吸引众多开发者投身其中,学习与探索大模型的开发者数量急剧增长。Cloud Studio 提供了一个强大的平台,支持快速创建 GPU 加速的开发环境,尤其适合进行深度学习和 AI 相关的任务。下文将详细介绍如何用 Cloud Studio 在云端创建 GPU 服务器,搭载 DeepSeek-R1 模型,并通过 Web 端访问,带你开启高效AI模型之旅。

重点: 免费GPU资源 16GB 显存32GB内存 的机器 (每月免费使用10000分钟)

1、腾讯云 Cloud Studio

产品页面: https://cloud.tencent.com/product/cloudstudio
IDE: https://ide.cloud.tencent.com/

这里有多个AI模板可以选择,当然了本篇文章是使用 DeepSeek-R1模板
在这里插入图片描述

Cloud Studio中 DeepSeek-R1模板 提供的是DeepSeek-R1 1.5B及7B模型(DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B)
在这里插入图片描述
在这里插入图片描述

如果需要可以使用 Ollama模板 来搭建其他模型,但是需要根据你的GPU配置来选择可稳定运行模型(DeepSeek-R1也是使用的Ollama搭建的)
在这里插入图片描述
在这里插入图片描述

2、创建DeepSeek-R1模型

创建一个免费的基础型的模型,直接点击创建即可
在这里插入图片描述

创建完成后,就可以到 高性能工作空间 中看到你刚刚创建的模型了,稍等 2 分钟,即可创建成功!
在这里插入图片描述

然后我们点击刚刚创建的模型,就可以打开ide页面了,ctrl+~ 快捷键打开终端,到这里就可以当服务器使用了
在这里插入图片描述

我们先检查服务器配置了(GPU、内存,存储空间)

df -h		# 查看存储空间
free -m		# 查看内存
nvidia-smi	# 查看GPU

在这里插入图片描述
存储空间: 挂载了168G,系统镜像使用了26G
内存: 32G内存
GPU: T4 推理卡,16G 显存

3、使用DeepSeek-R1模型

由于DeepSeek-R1是使用ollama搭建的,我们也可以使用ollama命令来使用模型
在这里插入图片描述
在这里插入图片描述

4、将端口内网穿透出来

Cloud Studio 的虚拟机无法直接搭建WebUI界面,且没有公网 IP,所以需要将模型端口暴露出来。
我将使用的内网穿透的工具为:cloudflared,简单三步搞定!!!

  • 查看端口
cat ~/.bashrc | grep "export OLLAMA_HOST"
curl 127.0.0.1:6399

在这里插入图片描述
在这里插入图片描述

  • 安装cloudflared
wget https://mirror.ghproxy.com/https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
dpkg -i cloudflared-linux-amd64.deb
cloudflared -v

在这里插入图片描述

  • 穿透端口6399
cloudflared tunnel --url http://127.0.0.1:6399

在这里插入图片描述
在这里插入图片描述
接下来,你可以在本地的任何 UI 界面,用这个 URL 玩耍 DeepSeek-R1 了~

5、搭建一个WebUI界面

我们这就使用Open-WebUI作为Web界面了,Open-Web UI 类似于ChatGPT,可以私有化模型本地部署,可以实现多模态AI聊天,AI 翻译,AI搜索,语音转文本,文本转语音,文生图,代码助手,可谓利器。

官网: https://openwebui.com/
GitHub: https://github.com/open-webui/open-webui

使用 pip 安装,需要 Python 3.11以上版本(也支持docker安装,教程就不演示了,官方文档非常仔细)

  • 安装Open WebUI:打开你的终端并运行以下命令:
pip install open-webui
  • 启动 Open WebUI:安装完成后,使用以下命令启动服务器:
open-webui serve

在这里插入图片描述

  • 访问WebUI
http://localhost:8080

在这里插入图片描述

  • 打开“管理员面板”

在这里插入图片描述

  • 设置“管理Ollama API连接“

在这里插入图片描述

  • 选择模型,就可以开始使用了!!!

在这里插入图片描述
在这里插入图片描述

  • 更新 Open WebUI
pip install --upgrade open-webui
### 如何部署 DeepSeek-R1 服务器操作指南 #### 准备工作 确保拥有适合运行 DeepSeek-R1 的硬件环境,包括但不限于足够的 GPU 资源。对于 Windows 系统下的离线部署,需先安装 Ollama 并配置好相应的开发环境[^2]。 #### 下载并设置模型 获取 DeepSeek-R1 或者 DeepSeek-R1-Zero 版本的模型文件。根据官方文档指示完成必要的初始化设定以及依赖库的安装过程[^1]。 #### 使用 Page Assist 提升用户体验 在浏览器中添加 Page Assist 扩展程序来简化与已部署模型之间的沟通流程。此工具能够帮助用户更加高效地调用 API 接口和服务功能。 #### 启动服务端应用 编写启动脚本来加载预训练好的权重参数,并监听特定端口号等待客户端请求接入。下面是一个简单的 Python Flask 应用实例用于提供 RESTful API 访问接口: ```python from flask import Flask, request, jsonify import deepseek_r1_model # 假设这是处理推理的核心模块 app = Flask(__name__) model = deepseek_r1_model.load('path/to/deepseek-r1') @app.route('/predict', methods=['POST']) def predict(): data = request.get_json() result = model.predict(data['input']) return jsonify({'output': result}) if __name__ == '__main__': app.run(host='0.0.0.0', port=8080) ``` 该代码片段展示了如何创建一个基于Flask框架的服务端应用程序,其中包含了接收 POST 请求、解析 JSON 数据体中的输入信息、执行预测任务并将结果返回给调用方的功能实现方式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值