目前的主流移动端推理框架包括:
名称 | 背景、厂家 | 底层 | 简述 |
---|---|---|---|
tf-lite | float类型调用Eigen,int8类型调用gemmlowp | ||
Core ML | 苹果 | CPU:Accelerate GPU:Metal Performance Shaders | |
Caffe2 | QNNPACK | ||
TVM | 亚马逊 | llvm,cuda,opencl,metal等 | |
paddle-mobile | 百度 | ||
Mace | 小米 | NEON\OpenCL\nnlib | |
ncnn | 腾讯优图 | ||
FeatherCNN | 腾讯AI lab | ||
PocketFlow | 腾讯AI lab | 与其他不同,属于模型压缩框架 | |
xNN | 阿里 | 闭源 | |
PPL | 商汤 | 闭源 | |
SNPE | 高通 | 闭源 |
参考:https://blog.csdn.net/liaochaoyun/article/details/85159617