超级会员免费看
本文评估了通过在卷积的co维度应用多线程切分来优化深度学习模型的性能提升。实验显示，在CPU无其他繁重任务的情况下，优化后模型的推理延时从772ms降低到291ms，性能提升约260%，并且保持了推理结果的正确性。尽管具体数值可能因设备环境差异而变化，但性能提升的相对值是显著的。
本节评估一下，通过对卷积的 co 维度进行多线程切分之后，对于模型的性能提升。
评估下性能
在进行多线程程序运行时，建议电脑中的 CPU 不要有其他繁重的任务执行。
在相同的环境下，分别运行 5th_codegen 和 6th_multi_thread 下的 compile.sh 脚本进行代码编译，然后运行编译后生成的可执行文件 ./resnet。
可以分别获取到权值预加载前后的性能指标。
可以看到性能提升非常明显：优化前平均推理延时为 772 ms，优化后为 291 ms，性能提升了大概 260%，效果很好，而且推理结果也是正确的。
注意：不同电脑机器不同环境下测出来的性能会有差异，大家只需要比对性能提升的相对值即可
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
