目录
一、在 GPUGEEK 平台大模型训练推理
1. 注册
（1）以下进入可领取算力券：
（2）注册成功后，进入个人中心页面，在这里可以完善个人信息。
2. 算力选择
（1）点击 算力市场，进入算力资源选择页面，可以看到平台提供的多种算力选项，包括不同型号的 GPU 设备 以及对应的详细信息。
（2）下面以选择RTX-A5000-24G为例，一个在这里算比较低配的配置，看看运行大模型的效果，性价比高，且性能不错，适合新手体验和模型部署。对于需要进行大规模模型训练或对性能有较高要求的用户，则可以选择多卡配置的算力资源，如 8 卡的 RTX 4090 或 H100 等。
| 显存 | 24 GB |
| CPU | 16核 |
| 内存 | 96GB |
（3）在选择算力资源时，用户还需要考虑时长与￥。一定记得不用的时候要关机，要不然也是会收费！可以使用体验券。
（4）点击 容器实例->创建实例
（5）点击创建实例后，便进入如下图
（6）根据需求完成算力匹配，前面说了选择RTX-A5000-24G为例，如下图
（7）接下来咱们配置系统默认的AI大模型镜像，我这里选择的是DeepSeekR1的大模型。系统也支持自己搭建大模型镜像，或自己根据需求配置环境，如果想根据自己需求配置环境，可以参考我的另一篇博客：AutoDL算力云使用流程（保姆级教程）_autodl无卡模式开机-CSDN博客
https://blog.csdn.net/qq_54556560/article/details/147547672?spm=1001.2014.3001.5502 （8）选择需要的环境
（9）点击 创建实例
（10）等待创建成功
3. 实时监控实例指标
（1）点击 查看监控
（2）实时监控实例的运行情况，精准分析，饱满测试！
4. 模型训练推理
（1）gz-cli 是由 GPUGEEK 平台专门为文件管理开发的命令行工具。该工具旨在为用户提供一种高效、便捷的方式来管理其在GPUGEEK平台上的数据。通过 gz-cli，能够执行多种操作，包括但上传、下载、查看文件列表以及管理文件。
（2）该工具的开发基于对平台用户文件管理需求的深入理解，旨在简化文件的存取过程，提升处理大量数据时的效率。无论是数据备份、数据共享还是日常文件管理，gz-cli 都能提供灵活的命令行解决方案，以满足广泛的用户需求。
（3）点击对应实例的 JupyterLab 即可自动打开 JupyterLab 控制台页面进行使用。
（4）进入实例控制台，可以相关数据配置，进行自己的模型配置，数据训练等！
二、在 GPUGEEK 平台使用大模型
1. 在线模型体验
（1）每个模型均有自己的体验区界面，通过 Web 表单的形式填写模型请求参数，并通过界面展示输出结果。首次运行模型即可通过体验的方式查看模型的效果，并在后续稳定使用 API 方式调用。体验模型同 API 调用均会根据每次调用量（如 Tokens 数）或该次请求运行时长扣费。
（2） 这里面市场比较火的模型基本上都覆盖了，我这里用deepseek大模型为例！点击左侧热门模型，选择 DeepSeek，界面deepseek模型在线应用，可以在线体验API，如图所示：
（3）这里我发给DeepSeek一个指令：请问每天锻炼多久最合理？
（4）DeepSeek给了一个比较全方位的解决方案，速度也是毫秒级响应，这点非常给力！
2. API 调用
（1）您可通过多种方式请求每个模型的 API，包括 HTTP、Node.js、Python，针对文本对话类的官方 API，支持 OpenAI 格式兼容。API 调用需要使用 API Token，您可在 API Token 页面查看并管理您的 API Token。
（2）点击 查看我的 API Token后，如图：
（3）返回到DeepSeek：
（4）进入到：
2.1 使用 HTTP 方式调用 API
curl -X POST "https://api.gpugeek.com/predictions" \
-H "Authorization: Bearer your_api_key" \
-H "Content-Type: application/json" \
-H "Stream: true" \
-d "{\"model\": \"GpuGeek/DeepSeek-R1-671B\", \"input\": {
\"frequency_penalty\": 0,
\"max_tokens\": 8192,
\"prompt\": \"\",
\"temperature\": 0.6,
\"top_p\": 0.7
}}"
2.2 使用 Python 客户端调用 API
（1）导入requests模块
API_KEY = "your_api_key"
（2）设置请求url
url = 'https://api.gpugeek.com/predictions';
（3）设置请求头
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
"Stream": "true"
}
（4）设置请求参数
data = {
"model": "GpuGeek/DeepSeek-R1-671B", # 替换成你的模型名称
# 替换成实际的入参
"input": {
"frequency_penalty": 0,
"max_tokens": 8192,
"prompt": "",
"temperature": 0.6,
"top_p": 0.7
}
}
（5）发送 POST 请求
response = requests.post(url, headers=headers, json=data)
（6）检查响应状态码并打印响应内容
if response.status_code == 200:
for line in response.iter_lines():
if line:
print(line.decode("utf-8"))
else:
print("Error:", response.status_code, response.text)
2.3 使用 Node.js 客户端调用 API
（1）导入 axios 模块和 stream 模块
const axios = require('axios');
const { Readable } = require('stream');
（2）设置 API_KEY 变量
const API_KEY = 'your_gpugeek_api_token';
（3）设置请求 URL
const url = 'https://api.gpugeek.com/predictions';
（4）设置请求头
const headers = {
"Authorization": "Bearer API_KEY",
"Content-Type": "application/json",
"Stream": "true"
};
（5）请求体数据
const data = {
"model": "GpuGeek/DeepSeek-R1-671B", // 替换成你的模型名称
// 替换成实际的入参
input: {
"frequency_penalty": 0,
"max_tokens": 8192,
"prompt": "",
"temperature": 0.6,
"top_p": 0.7
},
};
（6）发送 POST 请求
axios.post(url, data, {
headers: headers,
responseType: 'stream' // 设置响应类型为流
})
.then(response => {
const readableStream = Readable.from(response.data);
readableStream.on('data', (chunk) => {
console.log(chunk.toString('utf-8'));
});
readableStream.on('error', (err) => {
console.error('Stream error:', err.message);
});
})
.catch(error => {
if (error.response) {
console.error("Error:", error.response.status, error.response.statusText);
} else {
console.error("Error:", error.message);
}
});
2.4 OpenAI 兼容模式
（1）安装 OpenAI
pip install openai==1.63.2
（2）导入 OpenAI 模块
from openai import OpenAI
（3）初始化 OpenAI 客户端
client = OpenAI(
api_key="your_api_key", # your api token
base_url="https://api.gpugeek.com/v1", # endpoint
)
（4）发送请求
stream = client.chat.completions.create(
model="GpuGeek/DeepSeek-R1-671B",
stream=True,
frequency_penalty=0,
max_tokens=8192,
messages=[
{
"role": "user",
"content": "",
}
],
temperature=0.6,
top_p=0.7,
)
for chunk in stream:
print(chunk.choices[0].delta.content)
如果此文章对您有所帮助，那就请点个赞吧，收藏+关注 那就更棒啦，十分感谢！！！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
