1.运行平台不同(不同配置、同配置不同电脑)
2.不同深度学习框架
3.不同的复现版本
4.并行化程度,并行程度高的推理快
5.内存访问率,访问率高的推理时间长(可以理解为多次读取内存)
6.同步等待,模型分支较多,需要等待所有支路计算完毕后进入下一步计算。支路多的,推理时间长。
1.运行平台不同(不同配置、同配置不同电脑)
2.不同深度学习框架
3.不同的复现版本
4.并行化程度,并行程度高的推理快
5.内存访问率,访问率高的推理时间长(可以理解为多次读取内存)
6.同步等待,模型分支较多,需要等待所有支路计算完毕后进入下一步计算。支路多的,推理时间长。