前端推理框架笔记

参考：https://blog.csdn.net/lixuejun2008/article/details/103897626

1) NCNN（腾讯）

ncnn加速不同于模型量化压缩, 而是采用另一种加速技巧，包括下面的几种:

使用低精度
采用openmp多线程加速
采用simd指令集

别的资料：

https://www.zhihu.com/question/62871439?sort=created

已实现 winograd 卷积加速，int8 压缩和推断，还有基于 vulkan 的 gpu 推断

而且针对不同kernel size做了优化

2. 默认的反卷积实现好像有点问题，出来的数据在kernel size 3， step 2时不对。我是自己重新实现了，也不麻烦，用自带的1x1卷积加自己写的neon优化版col2im。

 

2) MNN（阿里）

MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖