基于 FPGA 天眼机器人设计

基于 FPGA 天眼机器人设计

 

一、设计概述 /Design Introduction

 

1.1 设计目的

新的无人机应用模式,现场自动化、巡飞智能化、视频 AI 处理、边缘计算等技术将在警用安防领域发挥重要作用,推动无人机在警用安防领域的落地应用。面向安防的无人机巡飞系统,要求无人机自动作业,实现无人化、智能化巡逻监控,贴近公安系统 实际需求,在提升警务工作实效性同时保障警务人员人身安全。无人机的智能识别模块,需要自主识别巡检目标、调整飞行姿态、调节云台进行抓拍。

 

1.2 应用范围

以安防监控场景为例,可将本系统部署于室内或室外,无人机可对区域内的行人进行身份识别,可巡检目标区域,完成二维码提取,车辆牌号抓取识别等任务。

 

二、系统组成及功能说明

 

2.1 系统介绍

本系统由飞行控制子系统、图像处理子系统、图像传输子系统、室内定位子系统、云台控制子系统和地面站共同组成。 图像处理,图像传输,室内定位,云台控制子系统是基于 pynq-z2 开发板。

飞行控制子系统是基于 TI C2000 DSP 芯片。

地面站部署在 Linux 和 Windows 平台,基于 Qt 框架编写。

 

2.2 各模块介绍

 

2.2.1 飞行控制系统

在 TI 公司生产的 TMS320F28379D 高性能双核架构 DSP 芯片上部署飞控算法,实现姿态解算、自稳控制、光流悬停、自主定高,同时接受 PYNQ 视觉系统的识别数据,根据不同的识别结果做出相应的动作和光警报。

 

2.2.2 图像处理系统

图像处理通路包括 USB 摄像头,arm 核的 Opencv 图像处理,PL 端的 BNN 加速,NCS 端的 face-net 网络。 参考 Xilinx 的 FINN,在 pynq 的 pl 端部署二值卷积神经网络(BNN),以此实现了车牌识别功能,和交通标志识别功能。

使用 ncs 加速器,基于 face-net 网络,实现人脸识别功能。

纯 arm 运行 pyzbar 包,以此实现二维码扫描功能。

 

2.2.3 图像传输系统

在 pynq 上,连接 rt5572 无线网卡,配置开机自启动,可连接局域网。将采集的图像与识别结果,进行 jepg 编码,使用 udp 协议,pynq 作为客户端,地面站作为服务器,udp 多线程通信,完成图像传输。支持视频流的路由,可同时将视频流传送到多个地面站。

 

2.2.4 室内定位系统

(1)基于 uwb 的无人机室内定位

室外定位通常使用 GPS,而室内定位 GPS 信号收不到,于是使用 uwb(超宽带)定位作为替代方案。部署基站后,标签连接无人机,通过串行口,输出当前坐标。定位误差 20cm,范围 50 平方米。

(2)基于激光雷达的区域行人定位

尽管可用摄像头进行行人的识别,但为了能在大区域内定位行人的位置,需要辅助定位手段,这里使用杉川激光雷达。pynq ps 端串口接收雷达数据,进行点云处理分析,分割出行人位置。

 

2.2.5 云台控制系统

自制的 overlay,除了基于 BNN 的视频处理通路外,添加了 PWM 的 ip,从而可以输出 pwm 波控制云 台。可以控制摄像机进行转向抓拍。

 

2.2.6 地面站

部署在 linux 或 windows 平台,udp 协议作为服务器与 pynq 通信,显示识别结果和飞控信息。

完成情况及性能参数 /Final Design & Performance Parameters。

本设计共实现功能:

(1)四旋翼飞行器完成室内的定高定点;

(2)图像识别子系统可进行人脸检测识别,车牌检测识别,二维码检测识别,交通标识检测识别,手势识别,帧数稳定于 15 帧;

(3)图像传输子系统可进行实时图传,支持多终端;

(4)云台子系统可控制摄像头旋转角度;

(5)定位系统可提供自身位置,和检测行人位置,并提供避障功能。各模块运作稳定,模块间按功能连接。

 

三、总结 /Conclusions

 

3.1 主要创新点

本套基于 pynq 的警用安防无人机系统_天眼机器人,无需现场操控无人机作业,实现无人化、智能化巡逻监控,贴近公安系统实际需求,在提升警务工作实效性同时保障警务人员人身安全。基于 pynq 的核心算法,能自主识别巡检目标、调整飞行姿态、相机拍摄。系统创新了无人机应用模式,现场自动化、巡飞智能化、视频 AI 处理,边缘计算等技术将在警用安防领域发挥重要作用,推动无人机在警用安防领域的落地应用。

 

3.2 可扩展之处

(1)安装机载激光雷达,提高环境辨识能力;

(2)研究自动降落充电系统,增加续航能力。

 

【QQ交流群】

群号:173560979,进群暗语:FPGA技术江湖粉丝。

多年的FPGA企业开发经验,各种通俗易懂的学习资料以及学习方法,浓厚的交流学习氛围,QQ群目前已有1000多名志同道合的小伙伴,无广告纯净模式,给技术交流一片净土,从初学小白到行业精英业界大佬等,从军工领域到民用企业等,从通信、图像处理到人工智能等各个方向应有尽有。

 

【微信交流群】

现微信交流群已建立08群,人数已达数千人,欢迎关注“FPGA技术江湖”微信公众号,可获取进群方式。

后续会持续更新,带来Vivado、 ISE、Quartus II 、candence等安装相关设计教程,学习资源、项目资源、好文推荐等,希望大侠持续关注。

江湖偌大,继续闯荡,愿大侠一切安好,有缘再见!

已标记关键词 清除标记
相关推荐
实付 49.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值