一、TensorFlow Lite
TensorFlow Lite 是一组工具,可帮助开发人员在移动、嵌入式和边缘设备上运行模型,从而实现设备上机器学习。TensorFlow Lite(简称 TF Lite)是一个开源的跨平台框架,它通过使模型能够在移动、嵌入式和物联网设备上运行来提供设备端机器学习。
有两种方法可以生成 TensorFlow Lite 模型:
1、将 TensorFlow 模型转换为 TensorFlow Lite 模型。
2、从头开始创建 TensorFlow Lite 模型。
TF Lite Converter 将 TensorFlow 模型转换为 TF Lite 模型。TF Lite 模型以一种特殊的高效可移植格式表示,称为 FlatBuffers,具有 .tflite 文件扩展名。与 TensorFlow 的协议缓冲区模型格式相比,这提供了几个优点,例如减小了大小和加快了推理速度。它使 TF Lite 能够在计算和内存资源有限的设备上高效执行。
TF Lite 目前仅支持 Quantization 技术,不需要任何外部库/依赖项。
技术 | 好处 | 硬件 |
---|---|---|
动态范围量化 |