Backto DeepCV
追究速度的极致,归宿总是C++。 \text{追究速度的极致,归宿总是C++。} 追究速度的极致,归宿总是C++。 大致可以分为三个层次:
Level 0:C++ 里调用 Python 代码
eg. https://github.com/BIGBALLON/CPP-Call-Tensorflow
Level 1: C++ 里直接调用模型
这里又分为两类,一类是通过框架的 C++ API 读取与 Python 下训练的一致的模型(如 PyTorch),一类是把 Python 下训练的模型转化为 C++ 可以调用的版本(如 Caffe2).
Level 2:Pure C++
什么权重,什么模型,什么框架,统统一把梭,全部写死 C++。然后再按照 C++ 的优化措施,SIMD 走起,AVX2 on Intel
or NEON on ARM
走起。