2022研究生电子设计竞赛总结（东北赛区一等奖、国家二等奖）

2022研究生电子设计竞赛总结（东北赛区一等奖、国家二等奖）

一、赛题

       我们的赛题为TI企业命题，题目为基于图像处理的无人水果售卖机，要求识别五种以上的水果、并具有称重与显示售卖信息功能。

二、项目方案

       本团队的方案如图所示，作品由图像采集设备、称重传感器、显示设备、输入设备以及基于TI处理器的开发板组成。图像采集设备采集图像，在图像预处理阶段使用DSP调用TI的IMGLIB图像分析算法加快处理速度，使用OpenCV算法和支持向量机识别水果种类；称重传感器获取水果重量，经滤波处理后发送给上位机，同时多线程等待上位机的置零指令，在电子秤空载而重量非零时使电子秤回零。图像处理与人机交互部分程序由QT实现，重量测量部分程序由C语言实现。俩进程间使用TCP/IP协议通信。显示设备用于显示售卖信息和实时图像。输入设备负责人机交互。

三、硬件部分

       作品由USB摄像头、HX711称重传感器、TI开发板、HDMI显示屏和鼠标等硬件组成，前面板为人机界面，负责显示售卖信息。中部白板的为称重平台，上部为摄像机。开发板和称重传感器置于机体内部。

四、软件部分

       软件分为三部分， QT程序实现图像处理、水果分类和人机交互等功能，HX711应用程序准确测量重量数据任务，俩进程通过TCP/IP协议通信。

五、技术关键

1. 图像处理与水果分类部分
          首先进行图像预处理，选出感兴趣的ROI区域。处理过程如图所示，其中的形态学处理与轮廓提取步骤，使用的板载的DSP调用TI-IMGLIB图像分析算法来实现。选出特定区域后提取饱和度、色调、横纵比三个特征值，使用支持向量机分类器训练出分类模型。

2. 多水果重量预测
       我们将五种水果的轮廓面积与水果重量关系进行了回归分析，得到回归表达式，通过面积预测重量。


为消除预测误差，设计了残差重量分配算法，其实现方法如下图所示：
1、计算预测总重量与称重总重量的残差；
2、求出每种水果的斜率向量和每种水果总面积向量；
3、水果重量由3式求出，Wn为首次预测单种水果重量.

3. 人机交互界面（QT实现）

六、实例展示

单种水果种类识别与重量测量：

多种水果种类识别与重量预测：

预测结果分析：

七、总结

       此次电赛是在参加上届电赛的基础上开展的，团队具有一定的图像识别与linux操作系统知识储备与实战经验。比赛过程中大家团结协作，各司其职，不断发现问题，解决问题，最终按时按量完成作品。但本作品尚有缺陷，如不能解决水果重叠识别问题，不能解决水果紧挨识别问题等。感谢一起参赛的俩位队友，石同学负责图像处理与分类部分，闫同学负责人机界面和封装设计部分，本人负责称重传感器内核驱动及linux部分，感谢同学的辛勤付出，没有大家的努力根本不会取得如此成绩。这次比赛是我学生生涯参加的最后一次比赛，谨以此献给我即将结束的学生时代。

                                                                                                                                     2022年10月5日。