常见GPU算力（5090&5090D，GB202-300&GB202-250）

已于 2025-02-04 09:46:32 修改
阅读量2.3k 收藏 9
点赞数 5
文章标签： gpu算力
于 2025-02-02 21:30:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45351564/article/details/145422580
版权

一、硬件参数

50905090D
核心GB202-300GB202-250
架构BlackwellBlackwell
SM170170
CUDA Cores / SM128128
CUDA Cores / GPU2176021760
Tensor Cores / SM4 (5th Gen)4 (5th Gen)
Tensor Cores / GPU680 (5th Gen)680 (5th Gen)
GPU 加速频率2407 MHz2407 MHz
显存32 GB (GDDR7)32 GB (GDDR7)
显存位宽512 bit512 bit
显存速率28 Gbps28 Gbps
显存带宽1792 GBps1792 GBps
一缓128 KB (per SM)128 KB (per SM)
二缓96 MB96 MB
TGP575 W575 W
制程TSMC 4N (5nm)TSMC 4N (5nm)

        注意到，完整 GB202 核心有 12 组 GPC，每组 GPC 包含 8 组 TPC（4090 的 AD102 中是 6 组），单个 TPC 中含有两个 SM 单元，因此完整 GB202 核心共有 192 个 SM 单元，但 GB202-300 和 GB202-250 只开启其中的 170 个。每个 SM 单元中有 128 个 CUDA 计算单元，这 128 个 CUDA 都可以计算 FP32 或 INT32（4090 的 AD102 中 64 个 CUDA 可以计算 FP32 或 INT32，另外 64 个只能计算 INT32）。

        每个 SM 单元中有 4 个 Tensor Core，因此 GB202-300 和 GB202-250 总共含有 680 个 Tensor Core。支持的数据类型有 FP8、FP16、BF16、TF32、INT8、INT4、FP6、FP4，不支持 FP64。和 AD102 相比，新增支持 FP6 和 FP4，且采用第二代 FP8 Transformer 引擎。

二、算力

1、CUDA Core 算力

浮点：TFLOPS

整型：TIOPS

50905090D
FP32104.8104.8
FP16104.8104.8
FP641.641.64
BF16104.8104.8
INT32104.8104.8

2、Tensor Core 算力

浮点：TFLOPS

整型：TIOPS

稠密/稀疏

50905090D*
FP41676 / 3352NA / 2375
FP8838 / 1676NA / NA
FP16419 / 838NA / NA
BF16209.5 / 419NA / NA
TF32104.8 / 209.5NA / NA
INT8838 / 1676NA / NA
INT41676 / 3352NA / NA

*5090D 的 Tensor Core 算力有待考证

Dolphin期材
关注
怎么提升本地LLM推理速度：qwen7b； 配备A100 40GB GPU，单条数据推理时间怎么办
ZJQ的博客
04-23 86
怎么提升本地LLM推理速度：qwen7b 配备A100 40GB GPU，单条数据推理时间怎么办 含义 不同取值的影响 1. `do_sample=False`（贪心搜索） 2. `do_sample=True`（采样） 适用场景 1. 模型本身特性 2. 数据处理和提示模板 3. 硬件资源利用 4. 库和依赖版本 优化后的代码示例 还有哪些参数加速推理 1. `max_new_tokens` 2. `num_beams` 3. `early_stopping` 4. `repetition_penalty
常见GPU算力（4090&4090D，AD102-300&AD102-250）
qq_45351564的博客
02-01 6555
支持的数据类型有 FP8、FP16、BF16、TF32、INT8、INT4，不支持 FP64。启用稀疏计算（2:4 模式）加速后，在神经网络权重中，强制每 4 个连续元素中至少 2 个为零，Tensor Core 硬件自动跳过零值计算，有效吞吐量翻倍。注意到，完整 AD102 核心有 12 组 GPC，每组 GPC 包含 6 组 TPC，单个 TPC 中含有两个 SM 单元，因此完整 AD102 核心共有 144 个 SM 单元，但 AD102-300 只开启其中的 128 个。
NVIDIA GPU 运算能力列表
热门推荐
凌风探梅的专栏
03-16 10万+
FROM：https://developer.nvidia.com/cuda-gpus CUDA GPUs NVIDIA GPUs power millions of desktops, notebooks, workstations and supercomputers around the world, accelerating computationally-i
常见GPU算力比较（X100计算卡，GX100）
qq_45351564的博客
02-06 583
* 第一项为 Tensor Core 计算 FP8、FP16、BF16、TF32 时的加速频率，第二项为 Tensor Core 计算 FP64 和 CUDA Core 计算 FP32、FP64 时的加速频率。* 4090 的 AD102-300 核心中每个 SM 单元中有 128 个 CUDA 计算单元，其中 64 个 CUDA 可以计算 FP32 或 INT32，另外 64 个只能计算 INT32。取 A100 80GB PCIe 的算力为 100%1、CUDA Core 算力。
世上最全NVDIA GPU参数列表： H100，H200、 A100， A800，V100，3090，4090， 5090等性能参数
xxxx的博客
11-23 7万+
而据英伟达的说法，新的 A800 可以替代 A100，两者都是 GPU（图形处理单元）处理器。芯片经销商 OMNISKY 容天官网介绍的英伟达 A800 GPU 信息显示，新的芯片数据传输速率为每秒 400GB，低于 A100 的每秒 600GB，代表了数据中心的性能明显下降。NVIDIA A100 GPU采用全新Ampere安培架构的超大核心GA100，7nm工艺，542亿晶体管，826平方毫米面积，6912个核心，搭载5120-bit 40/80GB HBM2显存，带宽近1.6TB/s，功耗400W。
收藏！2024年GPU算力最新排名
ToB行业资讯站
07-29 1万+
​GPU（图形处理单元）算力的提升是驱动当代科技革命的核心力量之一，尤其在人工智能、深度学习、科学计算和超级计算机领域展现出了前所未有的影响力。2024年的GPU技术发展，不仅体现在游戏和图形处理的传统优势上，更在跨行业应用中开辟了新的可能性。
查看GPU与算力对应、​GPU 算力与 CUDA 版本对应关系​
weixin_44012667的博客
05-21 1419
图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性 - 知乎 (zhihu.com)
GPU算力对照表
tfshaonian的博客
05-27 4341
https://developer.nvidia.com/zh-cn/cuda-gpus#compute
从零点一开始机器学习之GPU运算性能和CPU性能对比（GPU算力表）
小黄瓜要编程的博客
12-24 1万+
在机器学习之Win10 64位下安装Cuda+Cudnn文中，我们已经简单的阐述了一下gpu在机器学习中性能好于cpu，但是到底有多大的差距呢？刚开始的同学没有一个直观的认识（主要是我自己也没有直观的认识），在此记录一下吧。 我们采用同样的一个简单的基于VGG16的图像分类代码来对比一下，如果有误导或者理解不到位的地方，恳请指正，谢谢！服务器虽然有点旧，但是还是可以看出问题的！ 图像分三类，每一类图像3800张左右，batch_size均为25 CPU服务器一 服务器配置 选取epoch5-15查看
Nvidia GPU 最新计算能力表（CUDA Compute Capability）
欢迎关注，共同进步！
05-28 2万+
Jetson Products GPUCompute CapabilityJetson AGX Xavier7.2Jetson Nano5.3Jetson TX26.2Jetson TX15.3Tegra X15.3 GeForce and TITAN Products GPUCompute CapabilityGeForce RTX 30908.6GeForce RTX 30808.6GeForce RTX 30708.6NVIDIA TITAN RTX7.5Geforce RTX 2080 Ti7.5G
gpu算力列表
weixin_37684231的博客
04-19 711
此链接为gpu算力列表官方数据 https://developer.nvidia.com/zh-cn/cuda-gpus#compute
技嘉GA-Z77-D3H(rev.1.1)说明
03-30
1. **What（什么）**：技嘉GA-Z77-D3H(rev.1.1)是一款具有Intel Z77芯片组的主板，主要特性包括4个DDR3内存插槽，最多可支持32GB的内存容量，3个PCI-E x16显卡插槽，支持多GPU技术如SLI或CrossFireX，6个SATA 6Gbps...
GPU算力查询与比较
qq_44159782的博客
12-15 4740
一、GPU算力查询 常见计算能力如下： GPU Compute Capability GPU Compute Capability Tesla K80 3.7 Tesla K80 3.7 Tesla K40 3.5 Tesla K40 3.5 Tesla K20 3.5 Tesla K20 3.5 Tesla C2075 2.0 Tesla C2075 2.0 Tesla C2050/C2070 2.0 Tesla C2050/C2070 2.0 Tesla P100 6
NVIDIA GRID vgpu&gpumodeswitch工具使用场景及方法详解（GPU卡计算&图形模式切换）
qq_27815483的博客
07-24 2198
GRID vGPU需要支持计算模式和图形模式的gpu才能在图形模式下运行。如果您的GPU同时支持这两种模式，但提供的是计算模式，则必须使用gpumodeswitch命令将GPU的模式更改为图形模式。gpumodeswitch是一个命令行工具，用于切换NVIDIA gpu计算和图形模式。本文介绍这些模式在什么场景下使用及gpumodeswitch具体使用方法。
​使用PotPlayer播放器查看软解和硬解4K高清视频时的CPU及GPU占用情况​
dvlinker的技术专栏
03-17 2万+
本文主要演示了如何使用PotPlayer视频播放器去观测视频软解和硬解时的CPU与GPU的占用情况，以供参考。
一文就够——算力参数详解及国内外算力整理（截止2024.11）
m0_59292545的博客
12-09 1万+
算力参数详解及国内外算力整理
NVIDIA GPU 算力表
机器视觉爱好者的博客
06-11 5755
来自nvidia官方：https://developer.nvidia.com/cuda-gpus
英伟达GPU算力表
clemente的博客
03-02 4829
截至2019年7月31日 英伟达GPU算力表：https://developer.nvidia.com/cuda-gpus
invalid value 20GB for flag -memory:parse error
最新发布
03-20
<think>好的，我现在需要帮助用户解决在使用Bitfusion时遇到的错误：“invalid value 20GB for flag -memory:parse error”。用户之前询问如何通过Bitfusion远程运行ollama模型，现在遇到了参数解析错误的问题。首先，我要理解这个错误的原因。 根据错误信息，问题出在`--memory`参数的格式上。用户输入的`20GB`可能不符合Bitfusion的要求。我需要回忆Bitfusion文档中关于内存参数的规定。通常，命令行参数对于内存的表示可能有特定的格式，比如是否允许空格，是否使用不同的单位缩写，或者是否需要特定的数值格式。 接下来，我应该检查用户之前给出的命令示例。用户之前建议的命令是`bitfusion run -n 1 --memory=20GB ollama run DeepSeek-R1-14b`。这里可能的问题点在于`20GB`的写法。有些工具要求单位前没有空格，或者使用小写字母，比如`20g`或`20gb`。也可能Bitfusion需要特定的单位格式，例如仅接受整数加上单位，或者不接受大写字母。 然后，我需要验证不同的参数写法。例如，尝试将`20GB`改为`20g`或`20G`，看看是否能解决问题。另外，还要确认Bitfusion是否支持`GB`作为单位，或者是否必须使用`MB`或`GiB`等。有时候，工具可能对单位的大小写敏感，比如只接受小写的`g`而不是大写的`G`。 此外，还要考虑参数的位置是否正确。可能`--memory`必须紧跟在某个其他参数之后，或者不能与其他参数冲突。例如，是否需要在`--memory`前指定其他资源参数，或者是否参数之间有依赖关系。 另一个可能性是用户使用的Bitfusion版本较旧，不支持`--memory`参数的单位缩写，必须使用纯数字（比如以MB为单位的数值）。例如，20GB等于20480MB，所以用户可能需要输入`--memory=20480`。 还需要检查Bitfusion的文档或帮助信息，通过运行`bitfusion run --help`查看`--memory`参数的正确用法。如果用户没有权限或无法查看帮助文档，可能需要根据经验推断正确的格式。 此外，用户的环境变量或其他配置可能影响参数解析，但这种情况较为少见。可能用户的操作系统或Shell对参数的处理有特殊要求，比如需要转义空格或特殊字符，但根据错误信息，这似乎是一个参数解析错误，而不是环境问题。 最后，总结可能的解决方案：尝试不同的单位格式（如`20g`、`20G`、`20480`），确保没有空格，使用正确的单位缩写，并检查Bitfusion的文档确认正确的语法。如果这些尝试无效，可能需要进一步检查Bitfusion的日志或联系支持团队获取帮助。</think>### 一、错误原因分析 您遇到的 `invalid value 20GB for flag -memory:parse error` 错误是由于 **内存参数格式不符合 Bitfusion 要求** 造成的。以下是具体技术解析： 1. **单位格式错误** Bitfusion 要求内存参数使用 **纯数字 + 无空格单位** 格式，且单位必须为小写字母： ```bash # 正确格式 --memory=20g # 单位用 'g' 或 'm' --memory=20480m # 20GB = 20480MB # 错误格式 --memory=20GB # 大写单位 --memory=20 g # 含空格 ``` 2. **版本兼容性问题** Bitfusion v2.3 之前版本不支持 `GB` 单位，必须使用 `MB` 数值表示： ```bash # 旧版本兼容写法 --memory=20480 # 默认单位为 MB ``` --- ### 二、修复方案 #### 方案 1：标准单位修正 ```bash bitfusion run -n 1 --memory=20g ollama run DeepSeek-R1-14b ``` #### 方案 2：MB 单位显式声明 ```bash bitfusion run -n 1 --memory=20480m ollama run DeepSeek-R1-14b ``` #### 方案 3：无单位数值（兼容旧版） ```bash bitfusion run -n 1 --memory=20480 ollama run DeepSeek-R1-14b # 单位默认为 MB ``` --- ### 三、验证步骤 通过以下命令验证参数格式： ```bash # 查看内存参数支持的格式 bitfusion run --help | grep -A 2 '\-\-memory' # 测试最小内存分配 bitfusion run -n 1 --memory=1g nvidia-smi # 应正常显示 GPU 信息 ``` --- ### 四、高级配置建议 #### 1. 动态显存分配（需 Bitfusion v3.0+） ```bash bitfusion run -n 1 --memory=dynamic ollama run DeepSeek-R1-14b ``` #### 2. 多 GPU 显存叠加 ```bash # 使用 2 张 GPU，每卡分配 10GB bitfusion run -n 2 --memory-per-gpu=10g ollama run DeepSeek-R1-14b ``` --- ### 五、参数格式对照表 | 参数类型 | 合法格式 | 非法格式 | 说明 | |---------|---------|----------|-----| | 内存 | `20g` | `20GB` | 单位必须小写 | | 内存 | `20480m` | `20,480m` | 禁止千分位分隔符 | | GPU数量 | `-n 2` | `--gpus=2` | 必须使用 `-n` 参数 | --- ### 六、常见问题排查 若仍报错，请检查： ```bash # 查看 Bitfusion 版本 bitfusion version # 检查服务端配置（需管理员权限） sudo bitfusion config show | grep memory_allocation_unit # 典型输出（决定单位解析方式）： # memory_allocation_unit = "GB" # 服务端若配置 GB 单位，客户端必须用数字 ``` --- ### 七、跨版本兼容脚本 编写自动适配脚本 `run_ollama.sh`： ```bash #!/bin/bash # 检测 Bitfusion 版本 VERSION=$(bitfusion version | awk '{print $3}' | cut -d'.' -f1) if [ $VERSION -ge 3 ]; then MEM_ARG="--memory=20g" else MEM_ARG="--memory=20480" fi bitfusion run -n 1 $MEM_ARG ollama run DeepSeek-R1-14b ``` --- 通过以上修正，您应该能成功调用远程 GPU 运行大语言模型。如遇其他问题，建议附加 `--debug` 参数获取详细日志： ```bash bitfusion run --debug -n 1 --memory=20g ollama run DeepSeek-R1-14b ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值