第十六届中国研究生电子设计竞赛（西北赛区）心得

动员

因为某些乱七八糟的原因，我这是第一次接触研电赛，对于有些同志可能是第二次，这才是大佬，马上奔三，所以这也将会是最后一次，小试牛刀这个词用在这个着实不当。

动手

问了整个实验室的人，人人无动于衷，手无寸铁，一脸愁容，满面春光，最后还是自己提了两个项目，拉拢两个自暴自弃的朋友就开干了。
第一开始做的是LCS滤波器结合SLAM检测道路实况，Github链接：https://github.com/SeyedAmirTafrishi/LCS_Filter OR https://github.com/sunghoon031/LCSD_SLAM
后来发现帧数很低，这是因为每个算法运行完成之后再刷新一次频率。

换项目

近年来，随着人工智能的不断发展，使得技术领域和应用场景更加多元化。而树莓派作为目前市场上性价比较高的AI开发平台，凭借其丰富的外设资源和硬件接口，一度成为AI的主流开发方向之一。在危险或不适合人类活动的场合，最大程度减少人力资源的消耗，满足人类对智能应用的需求，本项目设计了一种基于SLAM技术的智能小车和飞行器通信系统，该项目结合ROS机器人系统和飞行器GPS2.0的功能，可实现多维地图构建、物体识别、路径导航和目标追踪定位等功能。
本系统首先利用树莓派4B调用驱动模块使小车运动，同时开启小车上的双目摄像头拍摄周围环境，捕获目标进行物体识别，并将采集到的视频序列传送给树莓派，利用ORB-SLAM2对视频序列处理，结合ROS机器人系统，以3D点云的形式标定视频序列的特征点，构建场景地图。其次，利用多功能AI扩展版和树莓派4B进行控制，使得小车路况信息和无人机空中拍摄实时连接电脑和手机终端，实现数据收发。最后根据电脑终端二维可视化地图，显示动态路径，确认路况信息。
开始组装智能小车和飞行器，编译ORB_SLAM2项目中的ROS，实现目标识别yolo轻量项目工程和目标追踪。

搭建平台开始实验

系统由两个树莓派4B核心板、多功能AI扩展板、Nano开发板、小车、飞行器、驱动电机、马达、电源和支架组成。为了更好的实现小车的控制，本系统还设计了一个网页端，用于实现小车的前后左右的运动。


为了更好的进行本系统的运作，在实验室中搭建了一个小场景，其中包括几个生活中常见的用品，用于识别和追踪，半径为3米的空旷区域用于飞行器起飞和盘旋。

在系统中，提出的一种双目系统基于特征匹配和局部BA优化的方式，通过寻找局部最优的特征，进行匹配，最小化重投影误差，跟踪并定位每帧相机。该系统使用ORB特征进行跟踪、建图和位置识别等任务，保证了在旋转不变和尺度不变性上有良好的鲁棒性，同时对曝光和光线的变化也表现出良好的稳定性，并且依据核心板的算力进行实时的特征匹配，达到良好的精度。运行数据集的结果和调用USB摄像头进行实时特征匹配。

本项目设计结合FasterR-CNN模型、Opencv和tensorflow模块进行物体检测。摄像头每隔50ms将采集到的图像帧信息传输到树莓派上进行目标框定。当检测出人体时，标记框为绿色，且在方框的左上方打上person标签表示识别为人体，检测的准确率达到99.82%，可以认为是人体；当有多个物体同时出现时，虽然也能检测到某一个物体，但概率仅为64.96%，说明虽然人体被框定了，但是受到了多个物体的干扰；当只露出躯干或支臂时，检测到物体的概率为93.06%，说明这种识别物体的方式与直接识别物体并无区别；在检测多个物体的时候，标记框呈现多种颜色，且在每个框的左上方打出对应的标签并给出相应的概率。

首先利用ROS系统库调出雷达扫出的点云图像，并在Rviz上实时的显示出来，然后，开启节点，同时运行小车，动态的构建出周围的场景，以2D栅格地图的形式展示出来，利用三维立体标杆代表运动的小车。


经过移动小车，不断地使激光雷达在区域内进行局部扫描，全局场景地图逐渐构建完整。

结果

在西北工业大学现场赛激烈的角逐之下，985学校还真不是吹。
得奖：（名单）

心得

一路走来艰辛万苦，不要抛弃不要放弃。