【机器学习】TinyML的介绍以及在运动健康领域的应用

最新推荐文章于 2024-04-24 09:33:24 发布

I'mAlex的小弟

最新推荐文章于 2024-04-24 09:33:24 发布

阅读量2.3k

点赞数 61

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/gg310773517/article/details/137046881

版权

🧑 作者简介：阿里巴巴嵌入式技术专家，深耕嵌入式+人工智能领域，具备多年的嵌入式硬件产品研发管理经验。

📒 博客介绍：分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向的学习指导、简历面试辅导、技术架构设计优化、开发外包等服务，有需要可私信联系。

🗄️ 专栏介绍：本文归属于专栏《嵌入式解决方案》，专注嵌入式开发中的解决方案，持续更新中，欢迎大家免费订阅关注。

1. 机器学习是什么解决什么问题？

1.1 机器学习是什么？

- 涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。

- 深度学习是机器学习领域中的一个研究方向。

1.2 解决什么问题？

- 分类问题：图像识别，分类，垃圾邮件识别等

- 回归问题：根据数据样本的特征，预测一个连续值的结果，例如股票预测，销量预测，图像分割。

- 聚类问题（无监督学习）：新闻分类

1.3 有什么解决方案？

- DNN（Deep Neural Network）深度神经网络

- CNN（Convolutional Neural Network）卷积神经网络，处理图像分类，特征提取

- RNN(Recurrent Neural Network）循环神经网络，处理自然语言，语音数据，手势姿态等

在这里插入图片描述

2. TinyML简介

2.1 什么是TinyML

在这里插入图片描述

随着深度学习技术的发展，已有数种深度学习框架，例如TensorFlow、Caffe、Caffe2、Theano、Torch、MXNet和CNTK，支持卷积神经网络、递归神经网络等模型结构。

其中，TensorFlow由Google Brain团队的研究员和工程师研发，已成为业界最受欢迎的机器学习项目。TensorFlow框架的优秀特性，主要包括：

- 支持异构设备的分布式计算，可有效地利用机器资源进行模型训练。

- 支持卷积、循环神经等网络结构，这些都是在计算机视觉、语音识别、自然语言处理方面最流行的深度神经网络。

- 支持模型从研究团队到生产环境的快速迁移，构建起模型研究到生产使用的桥梁。

- 支持移动端开发，及智能终端产品的嵌入式开发。

- 具备出色的版本管理和详细的官方文档，模型众多，生态系统比较完备。

而TensorFlow Lite 是 TensorFlow 的轻量级版本，专为移动和嵌入式设备设计。它优化了模型的大小和运行效率，使得深度学习模型可以在资源有限的设备上运行，如智能手机、平板电脑和IoT设备。TFLite 允许开发者将训练好的TensorFlow模型转换为一个优化的格式，以便在这些设备上实时运行。

TinyML（Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers（基于Arduino和超低功耗微控制器的TensorFlow Lite机器学习））是指在极低功耗的微控制器和其他小型计算设备上运行的机器学习应用。这通常涉及到将已经训练好的机器学习模型压缩和优化，以使其适应更小的内存和处理能力。TinyML 的目标是在这些设备上实现AI功能，同时保持低能耗和低成本。虽然TinyML不是一个具体的产品或库，但TensorFlow Lite for Microcontrollers（一个TFLite的分支）是专门针对微控制器优化的，常被用在TinyML项目中。

2.2 TinyML优势和局限

2.2.1 TinyML的优势

在这里插入图片描述

- 模型精简，低算力，低功耗

- 数据不上云，本地处理，对数据隐私有保护作用

- 数据本地处理，不上云，反应及时，低时延

- 模型精简，模型体积比较小，适用大多数微处理器

- 在保证模型体积小的基础上，能够满足精度需求

2.2.2 TinyML的局限

由于MCU性能有限，所以TinyML的应用领域、性能、效率方面相比TensorFlow是有一定局限性的，比如：

应用领域|微控制器上的TinyML|服务器上的TensorFlow

----|—|—

异常检测|能，模型尺寸有限|能，大模型

图像识别|能，分辨率和实时性不强|能，分辨率和实时性不强

语音识别|仅能识别唤醒词/命令词|全自然语言处理

2.3 TinyML为什么可以做得很小

TensorFlow为了能够运行到微控制上，主要做了下面3方面的优化：

- Quantization 模型量化，减小模型体积，提高运行速度

- Weight Pruning 剪枝，减少神经元，减少通道数

- Knowledge Distillation 知识蒸馏，知识迁移

2.3.1 Quantization(模型量化)

在这里插入图片描述

模型量化即以较低的推理精度损失将连续取值（或者大量可能的离散取值）的浮点型模型权重或流经模型的张量数据定点近似（通常为int8）为有限多个（或较少的）离散值的过程，它是以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。

主要目的：把float类型转化为int型，降低模型内存大小

量化参数： DEFAULT, OPTIMIZE_FOR_SIZE, OPTIMIZE_FOR_LATENCY