超级会员免费看
本文介绍了深度学习模型性能评估中的关键指标——吞吐和延时。吞吐量指的是单位时间内完成的任务量，而延时则是完成一个任务所需的时间。通过ATM取款机的例子，阐述了吞吐量与延时的关系，并指出两者并不直接关联。在神经网络场景中，优化吞吐量有助于提高处理大量数据的效率，而降低延时则能提升用户体验。
在前面几节，完成一个图片的正确推理识别之后，下一步我们要关注的就是模型的性能。
神经网络的性能很重要，可以看下这一节：神经网络的性能以及那些框架存在的意义。
在我们进行模型性能评估之前，介绍一下两个对于性能评估非常重要的概念——吞吐和延时。
很多同学对这两个概念的理解是存在误区的，一般的误区会集中在：认为高吞吐就等于低延时，低吞吐就等于高延时。这样理解是有问题的。
下面我会详细介绍下这两个概念，帮助大家更深入的理解其区别，后面所有涉及模型性能的地方，都会依据这两个指标来做评估。
1、吞吐
吞吐或吞吐量，英文名叫 Throughput，指的是完成一个特定任务的速率，也可以理解为在单位时间内完成的任务量。
对于计算机网络而言，吞吐量的衡量单位一般是 bits / second 或者 Bytes / second。
举个例子，如果说一条数据通路的吞吐量是 40Gbps，那么意味着，如果你往这个数据通路中注入40Gb 的数据量，那么它可以在1秒内流过这条数据通路。
对于神经网络而言&#x
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
