经常看大模型的论文,特别是Megatron-LM的好几篇论文做了大量的性能对比,各种并行切分的策略。里面有大量的 throughput(吞吐量)。
那么这个throughput 吞吐率或者吞吐量到底值得是什么?怎么去计算的吗?为什么会使用这个指标作为大模型的一个很重要的性能指标。
神经网络的吞吐量(Throughput)定义为网络模型在单位时间内(例如,1s)可以处理的最大输入的训练样本数据。
以下转载自 https://www.zhihu.com/question/596311688/answer/2989554131