免费白嫖GPU算力,搭建属于自己的DeepSeek-R1
如今,大模型技术飞速发展、快速普及,吸引众多开发者投身其中,学习与探索大模型的开发者数量急剧增长。Cloud Studio 提供了一个强大的平台,支持快速创建 GPU 加速的开发环境,尤其适合进行深度学习和 AI 相关的任务。下文将详细介绍如何用 Cloud Studio 在云端创建 GPU 服务器,搭载 DeepSeek-R1 模型,并通过 Web 端访问,带你开启高效AI模型之旅。
重点: 免费GPU资源 16GB 显存 和 32GB内存 的机器 (每月免费使用10000分钟)
1、腾讯云 Cloud Studio
产品页面: https://cloud.tencent.com/product/cloudstudio
IDE: https://ide.cloud.tencent.com/
这里有多个AI模板可以选择,当然了本篇文章是使用 DeepSeek-R1模板
Cloud Studio中 DeepSeek-R1模板 提供的是DeepSeek-R1 1.5B及7B模型(DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B)
如果需要可以使用 Ollama模板 来搭建其他模型,但是需要根据你的GPU配置来选择可稳定运行模型(DeepSeek-R1也是使用的Ollama搭建的)
2、创建DeepSeek-R1模型
创建一个免费的基础型的模型,直接点击创建即可
创建完成后,就可以到 高性能工作空间 中看到你刚刚创建的模型了,稍等 2 分钟,即可创建成功!
然后我们点击刚刚创建的模型,就可以打开ide页面了,ctrl+~ 快捷键打开终端,到这里就可以当服务器使用了
我们先检查服务器配置了(GPU、内存,存储空间)
df -h # 查看存储空间
free -m # 查看内存
nvidia-smi # 查看GPU
存储空间: 挂载了168G,系统镜像使用了26G
内存: 32G内存
GPU: T4 推理卡,16G 显存
3、使用DeepSeek-R1模型
由于DeepSeek-R1是使用ollama搭建的,我们也可以使用ollama命令来使用模型
4、将端口内网穿透出来
Cloud Studio 的虚拟机无法直接搭建WebUI界面,且没有公网 IP,所以需要将模型端口暴露出来。
我将使用的内网穿透的工具为:cloudflared,简单三步搞定!!!
- 查看端口
cat ~/.bashrc | grep "export OLLAMA_HOST"
curl 127.0.0.1:6399
- 安装cloudflared
wget https://mirror.ghproxy.com/https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
dpkg -i cloudflared-linux-amd64.deb
cloudflared -v
- 穿透端口6399
cloudflared tunnel --url http://127.0.0.1:6399
接下来,你可以在本地的任何 UI 界面,用这个 URL 玩耍 DeepSeek-R1 了~
5、搭建一个WebUI界面
我们这就使用Open-WebUI作为Web界面了,Open-Web UI 类似于ChatGPT,可以私有化模型本地部署,可以实现多模态AI聊天,AI 翻译,AI搜索,语音转文本,文本转语音,文生图,代码助手,可谓利器。
官网: https://openwebui.com/
GitHub: https://github.com/open-webui/open-webui
使用 pip 安装,需要 Python 3.11以上版本(也支持docker安装,教程就不演示了,官方文档非常仔细)
- 安装Open WebUI:打开你的终端并运行以下命令:
pip install open-webui
- 启动 Open WebUI:安装完成后,使用以下命令启动服务器:
open-webui serve
- 访问WebUI
http://localhost:8080
- 打开“管理员面板”
- 设置“管理Ollama API连接“
- 选择模型,就可以开始使用了!!!
- 更新 Open WebUI
pip install --upgrade open-webui