一种基于FPGA 的1080p 高清多摄像头全景视频拼接的泊车(机)

一种基于FPGA 的1080p 高清多摄像头全景视频拼接的泊车(机)实时影像系统



一、本发明要解决的实际问题

1、 汽车左右反光镜及后视镜的视角有限,导致车身周围存在盲区,在特殊驾驶环境下(如上下陡坡,低矮障碍,狭窄路段,弯道盲区等)驾驶风险加大,本发明为驾驶人提供车身周围360度平面视图参考,提高驾驶安全系数;

2、 本发明使用720p或1080p高清鱼眼模拟摄像头,采集回来的图像有效像素直接提升一个数量级,进行全景拼接后的图像清晰度大幅提高;

3、 本发明使用鱼眼镜头采集回来的高清远景图像,由于分辨率将大幅提高,对于后续辅助驾驶应用中的图像分析过程来说(如碰撞预警,道路偏移,弯道安全,超车安全,行人安全等,常常需要清晰的50m外的图像),后端图像分析系统难度将大大降低,系统可靠性及实用性将大大提高;

4、 由于使用全高清摄像头后,整个系统的录制画面的分辨率也将大幅提高,对于各种交通事故现场责任裁定,保险责任裁定,以及非行驶状态下的车辆安全威胁具备非常高的实用价值(如汽车停车后刮擦,可以看清现场人脸,车牌等关键信息);本发明以四个鱼眼摄像头实时视频图像拼接为切入点,同时可实现分布在360度环视区域内多路高清摄像头的视频数据实时采集拼接,可应用在民用和军用飞机的高空俯视全景泊机领域。

二、本发明的关键点

1、 本系统可以输出高清360度全景图像,可以提供足够直观,足够清晰的图像给驾驶人进行辅助判断;

2、 本发明基于1080p高清模拟图像,能实时提供碰撞预警,道路偏移,弯道安全,超车安全,行人安全等辅助驾驶安全的关键信息,信息的可靠性及完整性远远大于背景技术及现有技术;

3、 本发明基于1080p高清模拟图像,支持4-8路高清录制功能,录制画面的清晰度及图像可用性大大提高,远远超过背景技术及现有技术。

三、本发明详细阐述

本系统由高清图像采集子系统,车辆信息采集子系统,高清图像拼接子系统,高清图像分析子系统,高清图像录制子系统构成。

1、高清图像采集子系统

高清图像采集子系统包含多个高清模拟摄像头,典型的系统为4个摄像头至8个摄像头,如下图所示。高清图像采集系统需要根据预置各个摄像头的畸变参数,进行畸变预处理,并进行亮度统计;

2、车辆信息采集子系统

该子系统通过多种传感器,对车辆行驶状态,包括但不限于前进,后退,左转向,右转向,双闪报警,行驶速度等关键信息进行采集;

3、高清图像拼接子系统

高清图像拼接子系统包含帧缓冲单元,畸变校正单元,投影变换单元,拼接融合单元,像素比例尺单元等;

四、与最好的现有技术相比本发明的优势

最好的现有技术算法复杂度高,对产品实际安装位置和安装环境有严格的要求,尤其是左右反光镜下的摄像头开孔安装方式,极度依赖安装精度,稍有施工偏差,则反光镜因无法完美拼接而被报废,本发明提出一种全新的拼接融合算法,算法复杂度大幅度降低,几乎不依赖实际安装环境,粗犷施工也能将视频图像完美拼接,这也是本发明区别于现有技术的最大突破点,具有极大的市场价值。

五、实物效果图



在视频监控应用中,如何有效实现宽视场范围视频的完整获取,是视频监控系统的关键功能之一。本文针对多摄像头硬件平台,重点研究 360 度全景视频拼接的实现技术。在保证高质量的拼接图像的前提下,满足实际应用场景的实时性要求是本文算法设计的主要目标。针对全景拼接在视频监控领域这一应用背景,本文对多摄像头系统全景拼接存在的一些优势和约束进行详细分析,并在此基础上,采用多个广角镜头进行视频图像采集,实现摄像头个数和单个镜头视角之间的合理折中。在控制成本的前提下,有效实现水平方向 360 度无盲区监控。 针对全景视频拼接算法的实时性能和拼接效果,本文重点在以下几个方面开展了研究工作: 1、本文采用普通的监控 CCD 单板和广角镜头组装摄像单元,对多个摄像单元通道采用多线程同步视频采集。针对普通监控镜头采集图像质量不高的问题,提出基于颜色校正板的颜色校正方法,对输入图像进行预处理,有效改善图像质量。并采用基于灰度均值的方法,对相邻图像的重叠区域进行亮度调整。 2、本文基于经典的直线标定法思想,提出两步法镜头矫正方案。通过所提出的直线标定法对镜头进行一次矫正,然后通过手动设置并调节畸变参数,对矫正后的图像进行二次矫正,所提出的算法能保证良好的镜头矫正效果。 3、研究了柱面投影模型的原理,提出将柱面映射的投影中心修正为镜头畸变中心,克服了由于畸变和透视失真等因素造成的重叠区物体成像尺寸不一致的问题。然后,利用所提出的坐标映射表的方式,一次性实现镜头畸变矫正和柱面映射,有效提高了算法执行速度。 4、分析了基于 Harris 特征和 SIFT 特征的配准算法原理。SIFT 特征配准算法鲁棒性高,但难以满足硬件系统的实时性要求;基于 Harris 特征的配准算法复杂度低,但难以应对广角镜头畸变引起的图像质量差的问题,匹配性能较差。最后采用了基于积分图像的快速归一化互相关配准方案,实验验证了算法的可行性和有效性。 5、此外,在图像融合方面,基于经典的多频带融合算法,结合线性融合的思想,优化了一种简单的多分辨率线性融合方法。在保证融合质量的基础上,提升了速度。 关键字:多镜头多传感器;图像配准;全景拼接;实时监控;广角镜头
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值