最早我以为TinyML是一个库,后来看了下才发现不是。TinyML是嵌入式的机器学习统称,像是一个基金会,主页是:Home | tinyML Foundation
涉及到主要的应用,其实还是那几家,TensorFlow Lite Micro,PyTorch也有lite版。
相比传统模型,多了两个核心步骤,1 Convert 2 Interpreter
- Converter
1. 将TF模型转化为TFLite模型
2. 减少模型体积,保持模型精度。
- Interpreter
1. 支持多系统
2. 透出标准API
3. 解析TFLite模型
C++改写推理:
CRAFT文字检测算法解析和基于C++和TensorRT的推理实现_craft算法-CSDN博客
MCU跑AI,谁更牛?|算法|ai|mcu|arm|低功耗|编码器_网易订阅
最简单体验TinyML、TensorFlow Lite——ESP32跑机器学习(全代码)-CSDN博客
https://zhuanlan.zhihu.com/p/656861020
MIT 6.5940 Fall 2023 TinyML and Efficient Deep Learning Computing
芯片算力(TOPS, GOPS, MOPS)与精度(int8,int16)_tops算力-CSDN博客
TensorRT详细入门指北,如果你还不了解TensorRT,过来看看吧!-腾讯云开发者社区-腾讯云
常规的部署落地大部分使用的还是C++或C,C#等,如国内腾讯的ncnn,tnn,阿里的mnn,商汤的ppl,百度的paddle lite等系列向前推理框架
深度学习模型压缩流程图