目前主流soc芯片部署AI模型总结

      目前行业内常见的深度学习计算框架先驱（Tensorflow、Caffe、pytorch、mxnet等)五花八门，各种各样的都有，B站上有大佬手搓了一个自己深度学习框架，只要满足信息前向传递,误差反向传导即可。最早的开源深度学习框架，为整个AI产业赋能，大大推动了整个行业的发展，优点是同时支持训练和推理、跨平台、开源社区力量强大、框架迭代开发快等，能够满足大部分企业的需求，但是在端侧部署存在以下问题，对移动端处理器（CPU、GPU、DSP）的优化有限，限制了一些算力要求较高的AI算法在端侧的应用。

      想要将训练好的模型运行在特定的端侧环境，硬件厂商比如高通、联发科、三星、英伟达等，为了发挥展示自家芯片的AI能力，都会推出自己的计算框架，如SNPE、NeuroPilot、Eden、TensorRT，还有国内的各宣称自己造芯的厂商，比如vivo的VCAP，华为的麒麟和升腾系列，地平线的征程系列等，这些框架的特点是，只做推理，支持Tensorlfow、Caffe，onnx等模型的转换，对于自家的GPU、DSP、NPU都做了深度的优化，但对CPU几乎不优化（其