android cpu调度策略_Android上使用ncnn框架进行网络前向

最新推荐文章于 2023-07-31 10:13:56 发布

虚·伪

最新推荐文章于 2023-07-31 10:13:56 发布

阅读量1.2k

点赞数 1

文章标签： android cpu调度策略

本文链接：https://blog.csdn.net/weixin_34287049/article/details/112136357

版权

本文介绍了在Android设备上使用ncnn框架进行网络前向操作，并探讨了CPU调度策略对性能的影响。测试表明，通过调整openmp线程数、cpu affinity设置，以及考虑GPU使用，ncnn在不同配置下表现出不同的性能。在小米Note3上，ncnn的性能测试结果显示，线程和调度策略的优化能有效提升推理速度。

摘要由CSDN通过智能技术生成

背景

为了验证不同的前向框架在手机上的速度，Gemfield最近使用ncnn在Android手机上进行了测试。一般来说，模型的推理速度除了网络自身结构和量化之外，就严重依赖手机上的推理框架的性能了。推理框架之所以能展现出不同的性能，主要有这几方面的原因：内部精简精度（也是量化了）、使用特定指令集、使用多线程（如OPENMP）、使用新算法、框架的设计结构等。不过这些方面改进的空间都不大了，所以在没有新硬件的情况下，相比于一个流行的推理框架，另一个推理框架从软件层面所带来的性能提升不会超过2倍。

另外，在gemfield使用ncnn之前，ncnn对upsample的支持还是有些问题的；不过由gemfield create的相关PR已经被ncnn merge了，情况就变得好多了。

编译及安装

1，编译

切换到ncnn项目目录下，执行下面的命令进行编译：

mkdir -p build-android-aarch64
cd build-android-aarch64
#设置NDK，by civilnet
export ANDROID_NDK=/home/gemfield/android-ndk-r18b
cmake -DCMAKE_TOOLCHAIN_FILE&