【2021研电赛】基于图像处理的物体识别与分类系统

本作品介绍参与极术社区的有奖征集|分享研电赛作品扩大影响力，更有重磅电子产品免费领取!

团队介绍

学校名称：北京理工大学
队伍名称：BIT铁头帮
指导教师：冯云鹏
队伍成员：余佳桐 孙雨婷 朱翊铭
获奖情况：技术赛全国总决赛二等奖，TI企业专项奖一等奖

作品简介

本作品基于TI-RSLK专家版小车，将目标探测、路径规划、图像分类识别、机械臂抓取、循迹回起点、实时监测等功能模块功能整合为一个主控程序，实现对小车的闭环控制，使小车能够自主完成完整的目标抓取并分类过程。运动过程中，通过激光雷达和九轴传感器数据进行位姿解算，实时监测异常状态，并能够根据障碍物的运动情况选择不同的避障方式，可应用于蔬果运输、垃圾分类、AGV导航等无人驾驶领域。

图1 作品硬件结构

算法流程

基于图像处理的物体识别与分类系统需实现的主要功能是图像分类，路径规划以及抓取3种以上目标物体。在实验设计上，将解决方案拆解为7个步骤：
(1)首先通过USB摄像头模组进行图像的初步采集识别；
(2)基于激光雷达和图像信息的融合算法，输出场地中物体的数量和每个物体质心位置的角度与距离；
(3)之后使用增量式PID算法进行路径规划的闭环控制，小车在移动靠近目标的过程中不断反馈和实时调整舵机角度到达目标物体前方停车点位置；
(4)下一步基于颜色空间转换和轮廓边缘检测对目标图像分类，并且识别出物体的颜色和形状；
(5)分类结果反馈至机械臂程序进行该类目标的自动抓取；
(6)抓取后将目标物体运送至指定分类区域完成自动分拣功能；
(7)最后使用循迹算法回到起始位置，再开始下一轮循环直至抓取并分类所有目标物。

图2 算法设计流程

难点与创新点

(1)实时获取目标物精确位置信息，智能车需要在运动的过程中根据探测到的目标物体位置信息进行实时的运动状态和姿态调整，自主导航直到车头正对目标物体到达停车点，这就要求算法要达到较高的实时性和精度。
(2)在路径规划导航中，智能车载单目摄像头视觉导航依赖于使用环境的光照、地面纹理等信息，存在对远距离目标难以精确识别、图像处理计算量大、实时性较差、无法在黑暗环境中工作等问题，激光雷达导航又存在近处盲区，空扫断点的问题，难以实现完整的路径规划与自主导航。
(3)提出了一种激光雷达信息与机器视觉融合的室内导航算法，准确获取狭小空间内目标的角度和距离信息。通过引入边界距离差作为迭代阈值来探测远处目标物体的位置信息，避免了激光雷达测距中的空扫断点和近处盲区问题；再使用机器视觉技术中的轮廓逼近算法，提取中心像素坐标进行位置解算，得到近处物体中心相对偏转角及其偏转方向，可有效解决单一视觉导航无法精准识别远处目标和黑暗环境无法工作的问题，将两部分信息进行加权融合，得到目标物体的准确位置信息。将该算法应用到TI-RSLK专家版小车上，小车沿规划路线自主导航运行至目标物正前方。

功能介绍

(1)实现了自主避障功能，将小车行进过程中遇到的障碍物分为运动和静止两种，对运动的障碍物原地等待其离开后继续前进，对静止的障碍物采取绕行的方式，并在显示屏弹出不同的危险提示。（见百度网盘链接：附图-静态障碍物避障gif图+动态障碍物避障gif图+实时监测避障gif图）
(2)为系统建立了3重应急保护机制，自主避障能够防止小车和物体碰撞发生损伤；在小车运行过程中摄像头进行全程实时监测和输出；同时使用九轴传感器监测小车航向角，加速度等信息，出现异常变化立即启动刹车程序保护系统安全。
(3)为系统增加了循迹回起点的功能，在图像中划定ROI区域，二值化处理识别场中黑色车道，通过将像素位置差值转化为角度偏差给舵机，使小车沿着黑色车道回到起始点，再次开始新一轮抓取，直至场上无目标物体。（见附图-循迹gif图）
(4)为系统增加了自动追踪功能，实时检测与运动目标的距离信息，小车自动跟随目标一起运动。（见附图-目标追踪gif图）

应用场景

根据本作品的硬件结构和算法，开拓了三个应用场景，分别是无人驾驶的垃圾桶分类清运车，水果店无人车取货系统以及蔬菜仓储智能分拣车，能够将此系统推广到更多的应用场景下。此系统在未来无人驾驶、智能无接触配送、AGV导航、车间无人化、无轨送餐机器人等领域具有广阔的发展前景和应用潜力。
(1)无人驾驶的垃圾桶分类清运车
垃圾分类是近几年的一个热点问题，随着城市化进程的推进及人口数量的增长，人民在生活中造成的垃圾越来越多，因此，垃圾分类及垃圾处理受到了较高的关注。目前我国实行的垃圾分类标准将垃圾分为了主要四类：分别是有害垃圾，厨余垃圾，可回收物及其他垃圾，我们选取了机械臂可抓取的垃圾桶底座及模型如下图所示。

图3 各类垃圾桶模型
将TI-RSLK专家版小车模拟为无人驾驶垃圾清运车，任务是前往附近的垃圾站点，对站点中的垃圾桶进行清运，共有四类垃圾分类桶，分别是有害垃圾桶，厨余垃圾桶，可回收物垃圾桶及其他垃圾桶，小车从定点出发，检测场地中垃圾桶的位置及距离，自动行驶至垃圾桶附近，通过图像识别对目标垃圾桶进行分类之后抓取，运送至指定分类处理地点。（见附图-功能1的小车第一视角、第三视角gif图）
(2)水果店无人车取货系统
由于疫情原因，近两年民众对无接触购物和无接触配送需求增加，我们将TI-RSLK专家版小车模拟为无人售货水果店中的商品取货车，任务是根据购物者的购买需求指令，前往附近的水果货架，对货架上的水果进行分类识别和取货，运送至指定售货平台，共有四类可选水果，分别是红苹果，青苹果，桃子和橘子。（见附图-功能2的小车第一视角、第三视角gif图）

图4 各类水果模型
(3)蔬菜仓储智能分拣车
将TI-RSLK专家版小车模拟为超市中的蔬菜智能分拣车，任务起点设置为蔬菜仓储区，小车需识别出蔬菜种类，并将蔬菜抓取，运送至超市售货区指定售卖地点，有四类可选蔬菜，分别是辣椒，花生，茄子和柠檬。（见附图-功能3的小车第一视角、第三视角gif图）

图5 各类蔬菜模型

参赛感悟

本团队指导教师和成员全部来自北京理工大学光电学院。指导教师冯云鹏长期在先进光学制造与检测领域从事教学和科研工作，主要研究方向包括先进光学制造技术，光学检测，3D打印，机器视觉等方面。队长余佳桐来自光机电工程联合研究中心，在团队中负责团队成员协调规划，硬件组装与调试，运动姿态控制等工作；成员孙雨婷来自激光雷达实验室，主要负责智能小车的硬件控制与路径规划，激光雷达定位和导航等工作；成员朱翊铭来自混合现实与新型显示工程技术研究中心，主要负责图像处理与实时显示，激光雷达和机器视觉融合算法等工作。在三个月的比赛过程中，团队经历了很多的苦难和技术瓶颈，是指导教师的悉心指导和团队成员之间的理解配合才能支撑他们走到最后。对于团队成员来说，这次研电赛的经历是不可多得的宝贵回忆，在比赛中我们学会了理解与配合，锻炼了各方面的能力，深刻的理解了独木不成林的道理，也为以后的科研生活积累了宝贵的经验。
最后，希望感兴趣的小伙伴一起交流学习！
作品视频链接如下：
链接：https://pan.baidu.com/s/1awPcJGtBZiQnjGyZk2a6vQ
提取码：JSSQ

更多研电赛作品请查看2021年研电赛获奖作品合集