FLOPS和参数量比较小的模型，推理时间反而较长？

两个模型 A 和 B，A 模型的 FLOPS 和参数量均比 B 模型少一半，但 B 模型的推理速度却稍微比 A 模型快一些。出现这种情况由几种情况出现：

一、运行平台的不同，这个很明显，在大多数情况下 GPU 平台下运行比 CPU快

二、在同一运行平台，不同的深度学习框架也有些差异（如pytorch,tensorflow等）

三、同一平台、同一框架、并行化程度影响较大，并行程度高的推理较快

四、以上三种情况均相同情况下，有以下两种影响因素：
（1） 对内存的访问频率，访问内存频率高的推理时间较长
（2）同步的等待：如果模型的分支较多，需要等待所有支路计算完后才能进行下一步的计算，在等待同步需要花费时间，所以支路多的模型，推理时间会稍微长一些。