资源受限的智能陷阱：集成TinyML的果蝇监控框架

 

这篇论文的标题是《Resource-Constrained Intelligent Trap: Fruit Flies Surveillance Framework with TinyML Integration》，作者是Quan Minh Nguyen、Minh Nhat Lai、Vu Thanh Le和Hien Bich Vo。论文介绍了一种资源受限的智能陷阱系统，用于监测和控制果蝇，以保护农作物。以下是论文的主要内容概述：

摘要

• 研究提出了一种使用ESP-EYE微控制器和FOMO算法结合Edge Impulse AI平台的先进解决方案，以保护果实作物免受果蝇的威胁。
• 智能昆虫陷阱具备高级功能，并展现出卓越的性能，最大RAM使用量为2.4Mb，推理时间为5.694秒，基于IoU（交并比）阈值为0.5时，准确率达到96%。
• 该解决方案不仅确保了专业检测和计数能力，还及时向农民提供潜在威胁的通知，支持有针对性的农药使用，最小化广泛喷洒，并确保有效的作物保护。
• 陷阱可以无人干预下自动运行，具有自动更换果蝇污染的粘性陷阱的功能，这种可持续的方法适应于不同类型的害虫，提高了资源利用和生产力。

引言

• 论文讨论了果蝇对农作物的威胁，以及如何通过创新解决方案保护收成。

相关工作

• 论文回顾了电子陷阱（e-traps）作为有效监测系统的研究进展，并讨论了自动昆虫陷阱（AITs）的重要性。

系统概述

• 论文详细介绍了智能陷阱系统的硬件和软件组件，包括Lynfield陷阱、ESP-EYE开发板、ESP32微控制器、电源补充和机电系统。

本部分详细探讨了构成资源受限智能陷阱（RCIT）的基础元素的方法、流程和原理，包括其硬件和软件组件。

A. 硬件组件

RCIT的硬件组件主要包括以下几个部分：

• 机电系统：包括Lynfield陷阱、ESP-EYE相机系统、MG996S伺服电机（可360度旋转）、Petri dish分配器、信息素分配器和电气盒。电气盒内装有传感器模块、ESP32微控制器、两个A4988驱动器和CNC盾V3扩展电路。

• Lynfield陷阱：设计成Lynfield陷阱形状的机械陷阱，包括一个不透明的白色云母塑料盒，侧面钻有三个孔。底部是一个可翻转的盖子，覆盖有粘蝇纸，内部放置一个浸有信息素的棉球。

• ESP-EYE：由ESP32芯片驱动的ESP-EYE模块，具备200万像素相机、4M字节闪存和8M字节PSRAM。支持WiFi图像传输，确保无缝连接。使用ESP-IDF软件SDK和ESP-WHO AI框架，擅长面部检测和识别。

• 电源系统：系统利用两个20W - 12V太阳能电池板的太阳能，通过太阳能电压调节器电路将输入微调至8.4V供给UPS模块。ESP32微控制器通过一个UPS模块运行，该模块由四个3.7V锂电池供电。

• Petri dish分配器：使用1毫升剂量的信息素，涂在粘蝇纸中央的一小片棉布上，理想条件下可覆盖330平方米的区域。

• 信息素分配器：使用轴向蠕动泵和NEMA17步进电机，以极高的精度提供1毫升剂量的信息素。

B. 软件组件

软件系统在数据收集中起着关键作用，包括捕获苍蝇图像、执行苍蝇识别和计数以及收集感应设备的数据：

• FOMO MobileNetV2：FOMO（Faster Objects, More Objects）MobileNetV2是一种创新的机器学习算法，用于在资源受限的设备上进行对象检测。它基于MobileNetV2架构，优化了速度和内存效率。

• 用户仪表板：自动化系统监控捕蝇器，每20分钟捕获图像并量化苍蝇的存在。环境传感器持续收集周围条件的数据。这些综合信息被上传以供实时访问，并且当苍蝇数量超过预定阈值时，会通知用户。

系统特点

• RCIT系统通过结合图像处理技术、Wi-Fi连接协议和机械系统，提高了果蝇管理的效率、准确性和环境友好性。
• 系统使用ESP-EYE微控制器进行实时作物监测，利用FOMO MobileNetV2和先进的目标检测算法，在各种光照条件下识别果蝇。
• 机械系统在接收到ESP-EYE的信号后激活，主要目的是减少人为干预，从而延长设备在环境中的运行时间。
• 系统采用TinyML的优势，如低延迟、增强隐私、降低功耗和减少带宽使用，确保实时检测，通过在设备上保留数据来保护用户数据，延长电池寿命，并提高系统可靠性。

系统概述部分为读者提供了对RCIT系统的全面了解，包括其硬件设计、软件架构和如何将这些组件集成以实现有效的果蝇监测和管理。

硬件

• 描述了包括机械陷阱、相机系统、传感器模块、电源系统、诱捕剂分配器和信息素分配器在内的硬件组件。

软件

• 讨论了数据收集的重要性，软件系统的关键作用，包括捕获图像、执行果蝇识别和计数以及从感应设备收集数据。

实验和评估

• 论文描述了使用384张果蝇图像数据集进行的硬件和软件实验，评估了FOMO MobileNetV2模型的性能，包括检测速度和资源使用情况。

结论和展望

• 论文总结了RCIT系统的主要成就，并提出了未来的改进方向，包括优化图像处理算法、系统能效以及机械组件的设计。

参考文献

• 提供了一系列相关研究和文献，涵盖了果蝇管理、TinyML、AIoT、边缘计算等领域。

这篇论文提出了一个创新的智能陷阱系统，用于监测和控制果蝇，以保护农作物。通过使用TinyML和边缘计算技术，该系统在资源受限的环境中实现了高效、准确的果蝇检测，对农业和环境的可持续发展具有重要意义。