2301_80142272的博客

原创 深度学习开源平台介绍

利用Pytorch、TF或者其他框架训练好的模型，转化为TensorRT的格式，然后利用TensorRT推理引擎去运行模型，从而提升模型在英伟达板子上的运行速度，速度提升的比例是比较可观的。支持安卓和ios平台，CPU和GPU使用，提供量化工具。在一年之后，也就是2018年WWDC上，Apple发布了Core ML 2，主要改进就是通过权重量化等技术优化模型的大小，使用新的Batch Predict API提高模型的预测速度，以及容许开发人员使用MLCustomLayer定制自己的Core ML模型。