自动驾驶AVM环视算法--任意角度的旋转算法实现

已于 2024-03-28 17:21:29 修改
阅读量479 收藏 4
点赞数 7
分类专栏： 手撸AVM全景代码 文章标签： 自动驾驶 数码相机 人工智能
于 2024-03-14 23:12:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinshushijie/article/details/136724474
版权

测试环境 

opencv310

vs2022

参考：金书世界

算法源码获取：

链接：https://pan.baidu.com/s/1YLE-uM1JaHCMqDndPfU01Q 提取码：m7rc 

算法的主要实现

1、实现三个坐标轴轴的旋转。

2、不同相机之间的拼接融合。

测试的输出效果图像

算法的实现过程

根据当前的相机参数在保证算法的实际效果的前提下设置旋转角度的范围

	AVMData.A_rx = 114; //[72 114]
	AVMData.A_ry = 0;//[0 360]
	AVMData.A_rz = 0;//[-20 20]

在绕车辆周围旋转时，由于车辆是长方形的，不能在在车周围圆形的旋转吗，所以当前的额 算法是按照椭圆的方式旋转路径。

    //椭圆a=4000,b=3000
	float aa = 5000; float bb = 4000; 
	float qq = Data->A_ry * 3.1415927 / 180;

    Data->A.x = aa * sin(qq);
	Data->A.y = Data->CameraH_A;
	Data->A.z = -bb * cos(qq);

	Data->F.x = 0;
	Data->F.y = Data->CameraH_F;
	Data->F.z = (Data->FW + Data->BW) / 2;

	Data->B.x = 0;
	Data->B.y = Data->CameraH_B;
	Data->B.z = -(Data->FW + Data->BW) / 2;


	Data->L.x = -Data->LW;
	Data->L.y = Data->CameraH_B;
	Data->L.z = Data->F.z- Data->FW;

	Data->R.x = Data->RW;
	Data->R.y = Data->CameraH_B;
	Data->R.z = Data->F.z - Data->FW;

初始化相机的参数

js_initAngle(Data->data_TOP_B, Data->A_rx, -Data->A_ry,-Data->A_rz); js_initAngleT(Data->data_TOP_B, Data->data_TOP_T_B);
js_initAngle(Data->data_TOP_A, Data->A_rx, Data->A_ry,Data->A_rz);	js_initAngle(Data->data_0_A, 0, 0, 0); js_initAngleT(Data->data_TOP_A, Data->data_TOP_T_A);
js_initAngle(Data->data_0_F, 25, 0, 0);
js_initAngle(Data->data_0_B, 25, 180, 0);
js_initAngle(Data->data_0_L, 25, 90, 0); 
js_initAngle(Data->data_0_R, 25, -90, 0);

计算车辆的拼接交点位置

    js_pointf Psrc;
	js_3Dpointf Pdst_LF, Pdst_RF, Pdst_LB, Pdst_RB;
	Pdst_LF.x = Data->L.x;
	Pdst_LF.y = Data->CameraH_A;
	Pdst_LF.z = Data->F.z;// -Data->A.z;
	js_World2Plane(Data->data_TOP_A, Data->Aa, Pdst_LF, &Data->LFsrc, Data->Af, Data->Ac, Data->zc);

	Pdst_RF.x = Data->R.x;
	Pdst_RF.y = Data->CameraH_A;
	Pdst_RF.z = Data->F.z;// -Data->A.z;
	js_World2Plane(Data->data_TOP_A, Data->Aa, Pdst_RF, &Data->RFsrc, Data->Af, Data->Ac, Data->zc);

	Pdst_LB.x = Data->L.x;
	Pdst_LB.y = Data->CameraH_A;
	Pdst_LB.z = Data->B.z; //Data->A.z - Data->B.z;
	js_World2Plane(Data->data_TOP_A, Data->Aa, Pdst_LB, &Data->LBsrc, Data->Af, Data->Ac, Data->zc);

	Pdst_RB.x = Data->R.x;
	Pdst_RB.y = Data->CameraH_A;
	Pdst_RB.z = Data->B.z; //Data->A.z - Data->B.z;
	js_World2Plane(Data->data_TOP_A, Data->Aa, Pdst_RB, &Data->RBsrc, Data->Af, Data->Ac, Data->zc);

获取四个摄像头的图像数据（本测试使用的是opencv读取图像的方式实现的）

	IplImage* img_F = cvLoadImage("Front.png");
	IplImage* img_B = cvLoadImage("Back.png");
	IplImage* img_L = cvLoadImage("Left.png");
	IplImage* img_R = cvLoadImage("Right.png");

算法实现函数

js_getAVM_TOP(&AVMData, img_AVM->imageData, img_F->imageData, img_B->imageData, img_L->imageData, img_R->imageData, img_F->width, img_F->height, img_AVM->width, img_AVM->height, img_AVM->nChannels);

算法的图片的测试代码

// TODO: 在此添加控件通知处理程序代码
	IplImage* img_AVM = cvCreateImage(cvSize(1080, 1080), 8, 3);
	IplImage* img_AVM_resize = cvCreateImage(cvSize(404, 720), 8, 3);
	IplImage* img_F = cvLoadImage("Front.png");
	IplImage* img_B = cvLoadImage("Back.png");
	IplImage* img_L = cvLoadImage("Left.png");
	IplImage* img_R = cvLoadImage("Right.png");
	IplImage* det_TOP_F = cvCreateImage(cvSize(img_F->width, img_F->height), img_F->depth, img_F->nChannels);
	IplImage* det_TOP_B = cvCreateImage(cvSize(img_B->width, img_B->height), img_B->depth, img_B->nChannels);
	IplImage* det_TOP_L = cvCreateImage(cvSize(img_L->width, img_L->height), img_L->depth, img_L->nChannels);
	IplImage* det_TOP_R = cvCreateImage(cvSize(img_L->width, img_L->height), img_L->depth, img_L->nChannels);

	CvVideoWriter* writer = cvCreateVideoWriter("G:\\CSDN\\AVM\\Video\\AVM_Angle.avi", CV_FOURCC('X', 'V', 'I', 'D'), 25, cvSize(1080, 1080));

	js_AVM_obj AVMData;
	AVMData.A_rx = 114; //[72 114]
	AVMData.A_ry = 0;//[0 360]
	AVMData.A_rz = 0;//[-20 20]
	//AVMData.A_rx = 90; //[72 114]
	//AVMData.A_ry = 450;//[0 360]
	//AVMData.A_rz = -20;//[-20 20]
	int stept_index = 0;
	while (1)
	{
		js_init_avm(&AVMData, img_AVM->width, img_AVM->height);
		js_getAVM_TOP(&AVMData, img_AVM->imageData, img_F->imageData, img_B->imageData, img_L->imageData, img_R->imageData, img_F->width, img_F->height, img_AVM->width, img_AVM->height, img_AVM->nChannels);

		//cvCircle(img_AVM, cvPoint(AVMData.LFsrc.x, AVMData.LFsrc.y), 3, CV_RGB(255, 0, 0), 3);
		//cvCircle(img_AVM, cvPoint(AVMData.RFsrc.x, AVMData.RFsrc.y), 3, CV_RGB(255, 0, 0), 3);
		//cvCircle(img_AVM, cvPoint(AVMData.LBsrc.x, AVMData.LBsrc.y), 3, CV_RGB(255, 0, 0), 3);
		//cvCircle(img_AVM, cvPoint(AVMData.RBsrc.x, AVMData.RBsrc.y), 3, CV_RGB(255, 0, 0), 3);

		switch (stept_index)
		{ 
		case 0://x轴
			AVMData.A_rx = AVMData.A_rx - 1;
			if (AVMData.A_rx == 72)
			{
				stept_index = 1;
				AVMData.A_ry = 0;
			}
			break;
		case 1://y轴
			AVMData.A_ry = AVMData.A_ry + 1;
			if (AVMData.A_ry == 450)
			{
				stept_index = 2;
				AVMData.A_rx = 90;
				AVMData.A_rz = -20;
			}
			break;
		case 2://z轴
			AVMData.A_rz = AVMData.A_rz + 1;
			if (AVMData.A_rz == 20)
			{
				stept_index = 3;
			}
			break;
		default:
			break;
		}
		if (stept_index == 3)break;

		
		cvShowImage("img", img_AVM);
		
		cvWriteFrame(writer, img_AVM);
		cvWaitKey(10);
		free(AVMData.Ftable);
		free(AVMData.Btable);
		free(AVMData.Ltable);
		free(AVMData.Rtable);

	}
	
	cvReleaseVideoWriter(&writer);
	cvWaitKey(0);

算法视频测试代码

// TODO: 在此添加控件通知处理程序代码
	IplImage* img_AVM_all = cvCreateImage(cvSize(1280*2+1080, 1440), 8, 3);
	IplImage* img_AVM = cvCreateImage(cvSize(1080, 1440), 8, 3);
	IplImage* img_AVM_resize = cvCreateImage(cvSize(1200, 480), 8, 3);
	IplImage* det_TOP_F = cvCreateImage(cvSize(1280, 720), 8, 3);
	IplImage* det_TOP_B = cvCreateImage(cvSize(1280, 720), 8, 3);
	IplImage* det_TOP_L = cvCreateImage(cvSize(1280, 720), 8, 3);
	IplImage* det_TOP_R = cvCreateImage(cvSize(1280, 720), 8, 3);

	CvVideoWriter* writer = cvCreateVideoWriter("G:\\CSDN\\AVM\\Video\\AVM_Result1.avi", CV_FOURCC('X', 'V', 'I', 'D'), 25, cvSize(1280 * 2 + 1080, 1440));
	cvNamedWindow("视频播放", CV_WINDOW_AUTOSIZE);
	CvCapture* C_img_F = cvCreateFileCapture("G:\\CSDN\\AVM\\Video\\Front.avi");
	CvCapture* C_img_B = cvCreateFileCapture("G:\\CSDN\\AVM\\Video\\Back.avi");
	CvCapture* C_img_L = cvCreateFileCapture("G:\\CSDN\\AVM\\Video\\Left.avi");
	CvCapture* C_img_R = cvCreateFileCapture("G:\\CSDN\\AVM\\Video\\Right.avi");
	IplImage* img_F, *img_B, *img_L, *img_R;
	js_AVM_obj AVMData;
	AVMData.A_rx = 80; //[72 114]
	AVMData.A_ry = 0;//[0 360]
	AVMData.A_rz = 0;//[-20 20]
	js_init_avm(&AVMData, img_AVM->width, img_AVM->height);
	while (img_F = cvQueryFrame(C_img_F))
	{
		img_B = cvQueryFrame(C_img_B);
		img_L = cvQueryFrame(C_img_L);
		img_R = cvQueryFrame(C_img_R);
		js_getAVM_TOP(&AVMData, img_AVM->imageData, img_F->imageData, img_B->imageData, img_L->imageData, img_R->imageData, img_F->width, img_F->height, img_AVM->width, img_AVM->height, img_AVM->nChannels);


		cvSetImageROI(img_AVM_all, cvRect(0, 0, 1280, 720));
		cvCopy(img_F, img_AVM_all);
		cvResetImageROI(img_AVM_all);
		
		cvSetImageROI(img_AVM_all, cvRect(1280, 0, 1280, 720));
		cvCopy(img_B, img_AVM_all);
		cvResetImageROI(img_AVM_all);

		cvSetImageROI(img_AVM_all, cvRect(0, 720, 1280, 720));
		cvCopy(img_L, img_AVM_all);
		cvResetImageROI(img_AVM_all);

		cvSetImageROI(img_AVM_all, cvRect(1280, 720, 1280, 720));
		cvCopy(img_R, img_AVM_all);
		cvResetImageROI(img_AVM_all);

		cvSetImageROI(img_AVM_all, cvRect(1280*2, 0, 1080, 1440));
		cvCopy(img_AVM, img_AVM_all);
		cvResetImageROI(img_AVM_all);

		cvWriteFrame(writer, img_AVM_all);
		cvResize(img_AVM_all, img_AVM_resize);
		cvShowImage("视频播放", img_AVM_resize);
		char c = cvWaitKey(1);
		if (c == 27)break;
	}
	cvReleaseVideoWriter(&writer);
	cvReleaseCapture(&C_img_F);
	cvReleaseCapture(&C_img_B);
	cvReleaseCapture(&C_img_L);
	cvReleaseCapture(&C_img_R);
	cvDestroyWindow("视频播放");

测试效果的视频

AVM的实现的自由角度旋转

金书世界
关注
  • 7
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AVM环视自标定算法及其C++实现
liuphahaha的专栏
05-08 1119
欧拉角是坐标系旋转的表示，针对于相机坐标系可定义为（相机坐标系如下）：相机坐标系绕相机x轴旋转，得到俯仰角pitch绕相机y轴旋转，得到航偏角yaw绕相机Z轴旋转，得到滚转角roll注意：这样定义的pitch、yaw、roll（x轴pitch，y轴yaw，z轴roll）只能适用于这种相机坐标系，对于其他坐标系，例如飞机坐标系，那pitch、yaw和roll表示的含义就不同了，例如下图（引用自一文详解四元数、欧拉角、旋转矩阵、轴角如何相互转换 (qq.com)）：飞机坐标系。
智能驾驶环视跟踪 C++代码
01-24
提供环视跟踪C++ 完整代码 具体参考文章：https://blog.csdn.net/qq_49560248/article/details/135826568
自动驾驶AVM环视算法--鱼眼相机的畸变矫正原理和实测（图片和视频测试）
jinshushijie的博客
12-27 911
鱼眼相机图像的畸变矫正原理、代码和实测
项目讲解-AVM 3D 全景泊车-畸变矫正（1）
热门推荐
随意聊点
12-30 1万+
1. 简介 AVM 项目是为汽车的视野死角而设计的 360 °全景系统 ，让人可以观察到汽车的任意一个角落 ，在停车 ，狭小过道行驶 ，低障碍物较多的路面行驶等场景有丰富的作用 。让司机可以轻松的避免意外与危险 。 目前项目已差不多完结 ，因内容较多 ，大体拆分为两部分来进行讲解 ，畸变矫正以及全景拼接 。 本文主要讲解软件部分 ，硬件可各自修改移植。 ...
360度环视拼接源码cuda加速
树儿是魔法师
10-09 2804
10000fps 360环视拼接源码cuda加速
汽车自动泊车辅助系统APA(上)
lengyue19980115的博客
02-07 2994
自动泊车APA
干货！自动泊车之AVM环视系统（联合标定/视角变换/纹理映射）
CV_Autobot的博客
12-04 5765
作者|中投靓仔 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/572325879点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标检测】技术交流群后台回复【相机标定】获取超详细的单目双目相机模型介绍、内外参标定算法原理视频！本文的内容为在上一篇avm的进阶版，主要讲述AVM 3D算法pipeline，一种自研...
AVM-全景泊车-如何实现
m0_60622516的博客
11-08 2116
AVM-到底是个啥东西
自动驾驶——自动泊车之AVM环视系统算法框架
cumtchw
08-29 356
360环视原理介绍和demo，备份，留以后用。
opengles在车载360环视avm系统中的应用简介
weixin_43802726的博客
04-20 767
9 透明底盘，利用opengles的功能函数，可以调整整个车体的透明度，实现透明地盘效果，同时将前视摄像头的图像，透视投影变换后投影到地面上并保存一系列帧，根据车体的行进时间计算并选择历史帧，融合到碗状模型地面上，得到车体透明与行进的效果。7 调用opengles进行模型渲染，加载车体模型和碗状模型，加载车体模型纹理文件，进行三角面片的纹理贴图操作对车体进行渲染，利用之前制作的360环视拼接图对碗状模型进行纹理映射，主要是把环视图映射到碗状三角面片顶点，并利用顶点着色器和片段着色器进行模型渲染。
PA-VM-ESX-7.1.0.zip
07-14
标题 "PA-VM-ESX-7.1.0.zip" 暗示这是一个与 VMware ESXi 7.1.0 相关的压缩包，其中可能包含了与更新、安装或配置 ESXi 7.1.0 版本有关的文件。VMware ESXi 是一款业界领先的虚拟化平台，它允许在单一硬件上运行多个...
fritz-tls:自动为AVM FRITZ！Box安装TLS证书
03-20
OS：07.21）如果您想知道如何手动执行此操作，请查看AVM的。安装自制： brew install tisba/taps/fritz-tls去go get -u github.com/tisba/fritz-tls用法fritz-tls --auto-cert --domain fritz.example....
open-vm-tools
09-30
在安装这个包时，系统会自动处理这些依赖关系，确保所有必要的库和语言环境都已就绪，使得open-vm-tools能够无缝集成到Ubuntu 22.04 LTS的虚拟环境中，提升用户的虚拟机管理效率和体验。通过安装和配置这些组件，...
解析通用变频器SAMCO-vm05卷绕控制的实现
01-20
随着电力电子器件和控制技术的不断应用，控制技术是近代控制...编辑词条网络控制技术，通用变频器作为以实现产业机械为主的自动化、省力化、节能化的交流调速装置而得到了迅猛发展。由于对通用变频器技术进步的期待日
fritz：用于AVM FRITZ的Perl模块！通过TR-064进行盒子交互
02-05
而“avm-fritz”标签则直接指向了模块与AVM公司的FRITZ!Box产品线的关系。 在提供的压缩包文件名称“fritz-master”中，“master”通常指的是项目的主分支，这可能是一个Git仓库的主分支，包含了fritz模块的源代码...
自动驾驶AVM环视算法--超广角模式/转向模式/3D碗型投影模式/窄边模式/车轮模式等的实现
jinshushijie的博客
04-22 1186
超广角模式/转向模式/3D碗型投影模式/窄边模式/车轮模式等的实现
AVM环视拼接方法介绍
人无远虑，必有近忧
08-17 2079
关于车辆的全景环视系统网上已经有很多的资料，然而几乎没有可供参考的代码，这一点对入门的新人来说非常不友好。 全景环视系统，又称AVM。在自动驾驶领域，AVM属于自动泊车系统的一部分，是一种实用性极高、可大幅提升用户体验和驾驶安全性的功能。 AVM汽车环视影像系统如图所示，由安装在前保险杠、后备箱、后视镜上的四个外置鱼眼相机构成。 该系统包含的算子按照先后顺序：去畸变、四路鱼眼相机联合标定、投影变换、鸟瞰图微调、拼接融合、3D模型纹理映射等。 下面我们将围绕着算子的先后顺序来对AVM进行介绍。
AVM环视：一.相机标定及原理
qq_34468890的博客
07-21 3558
为何进行相机标定？相机标定本质 前言 环视AVM的第一步即对鱼眼相机进行标定，得到相机的内参、畸变系数。本文主要介绍了相机标定及其原理。相机标定本质上为坐标系之间的转换，最终目的是为了得到投影矩阵。 为何进行相机标定？ 1.物体在实际空间中的位置 2.物体在图像中对应点的位置 为了将1、2联系起来，必须找到一个纽带，这个纽带就是相机的参数（内参、外参、畸变系数） 相机标定本质 几个坐标系之间的转换 坐标系 世界坐标系（3D）——>相机坐标系（3D）——>图像坐...
车载Android avm
最新发布
04-25
车载Android AVM（Automotive Virtual Machine）是一种特殊的Android操作系统，专门用于汽车领域的应用。它是基于Android系统进行定制和优化的，旨在提供更安全、稳定和可靠的汽车信息娱乐和车载控制体验。 AVM的设计目标是满足汽车行业对于安全性、实时性和可靠性的要求。它提供了一系列特殊的功能和服务，包括车载导航、音频播放、蓝牙连接、语音识别、车辆诊断等。同时，AVM还支持与车辆的CAN总线通信，以实现对车辆各种传感器和控制器的访问和控制。 与普通的Android系统相比，车载Android AVM在以下几个方面有所不同： 1. 安全性：AVM采用了严格的安全机制，以防止恶意软件和未经授权的访问。它使用了安全启动过程、应用程序隔离和访问控制等技术来保护系统和用户数据的安全。 2. 实时性：AVM需要满足汽车行业对于实时性的要求，以确保各种车载应用的响应速度和稳定性。为此，AVM对系统调度、任务管理和资源分配进行了优化。 3. 可靠性：AVM在系统设计和硬件选型上考虑了汽车环境的特殊性，以确保系统在各种极端条件下的可靠性和稳定性。它采用了工业级的硬件和软件设计，具备抗振、抗温度变化和抗电磁干扰等特性。 总的来说，车载Android AVM是一种专门为汽车领域设计的定制化Android操作系统，它提供了丰富的车载应用和服务，并满足汽车行业对于安全性、实时性和可靠性的要求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值