深度学习模型运行的浮点次数FLOPs和训练参数程序获取方法

# 浮点运行次数
# FLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。
# FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。
# In TF 2.x you have to use tf.compat.v1.RunMetadata instead of tf.RunMetadata
# To work your code in TF 2.1.0, i have made all necessary changes that are compliant to TF 2.x

# print(tf.__version__)
import tensorflow as tf
# 必须要下面这行代码
tf.compat.v1.disable_eager_execution()
print(tf.__version__)

# 我自己使用的函数
def get_flops_params():
    sess = tf.compat.v1.Session()
    graph = sess.graph
    flops = tf.compat.v1.profiler.profile(graph, options=tf.compat.v1.profiler.ProfileOptionBuilder.float_operation())
    params = tf.compat.v1.profiler.profile(graph, options=tf.compat.v1.profiler.ProfileOptionBuilder.trainable_variables_parameter())
    print('FLOPs: {};    Trainable params: {}
### 大模型参数量与所需算力的关系 对于大型深度学习模型而言,模型参数数量直接影响所需的计算资源训练时间。随着模型规模增大,不仅需要更多存储空间来保存权重矩阵,在前向传播过程中也会消耗更多浮点运算次数[FLOPs]。 具体来说,当增加神经网络层数或每层节点数时,会显著提升整体复杂度并带来额外开销: - **FLOPS (Floating Point Operations Per Second)** 是衡量硬件性能的重要指标之一; - 对于卷积操作密集型架构(CNN),其理论峰值 FLOP 可以通过以下方式粗略估计[^2]: \[ \text{Total FLOPs} = 2 \times N_{\text{input}} \times N_{\text{output}} \times K_w \times K_h / S \] 其中 \(N_\text{{input}}\) \(N_\text{{output}}\) 分别表示输入通道数输出通道数;\(K_w,K_h\) 表示滤波器宽度高度;S 则指滑动步幅大小。 而对于全连接层为主的结构,则可以根据公式: \[ \mathrm {GFLOPs}=n\times m\times p/10^{9} \] 这里 n,m,p 分别对应两个相乘矩阵维度以及最终结果矩阵尺寸。 另外值得注意的是实际运行效率往往低于理想状态下的最大吞吐率,这主要是由于内存带宽瓶颈等因素造成的延迟所引起。 因此为了更精确地评估特定任务下某个框架实现版本的真实表现情况,建议采用专门设计用来测量此类信息的应用程序接口(API),比如 TensorFlow Profiler 或者 PyTorch 的 Autograd profiler 来获取详细的统计报告。 ```python import torch from fvcore.nn import FlopCountAnalysis, parameter_count_table model = ... # 定义好要分析的模型实例 flops = FlopCountAnalysis(model, input_tensor) print(f"FLOPs: {flops.total()}") print(parameter_count_table(model)) ``` 上述代码片段展示了如何利用 `fvcore` 库中的工具函数快速得到目标 DNN 架构在整个生命周期内的大致工作负载概况。 ### GPU需求估算 除了考虑单次迭代过程里涉及了多少基本算术指令外,还需要综合考量其他方面的影响因素才能得出较为合理的结论。例如批量处理样本数目(batch size)、优化策略(learning rate schedule)等都会间接作用于收敛速度进而改变总的epoch轮次要求。此外不同类型的激活函数也可能造成不同程度上的差异。 一般情况下可以通过下面的经验法则来进行初步判断: | 模型类别 | 参数范围 | 推荐配置 | |----------|--------------|-----------------------| | 小型 | < 1M | 单卡 RTX 2080 Ti | | 中型 | 1M ~ 100M | V100 * 2 | | 大型 | > 100M | A100 * >=4 | 当然这只是非常笼统的说法,并不能适用于所有场景。如果追求极致性价比的话还是应该依据具体情况做适当调整。
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值