【HLS图像处理】HLS平台实现双目相机立体校正（二）

最新推荐文章于 2023-10-24 20:00:29 发布

aqua_cat

最新推荐文章于 2023-10-24 20:00:29 发布

阅读量253

点赞数 1

文章标签：图像处理 fpga

本文链接：https://blog.csdn.net/K_zqhag/article/details/132253723

版权

在之前的文章里【HLS图像处理】HLS平台实现双目相机立体校正（一）大致描述了怎么使用HLS库函数简单实现一个图像校正IP核，但是这种方案有一个问题，就是会占用比较多的硬件DSP资源用于实时计算图像映射关系。本次使用另一种常见的图像校正方案：将图像校正映射表提前计算并保存，图像校正时实时读取，以节省DSP资源。

获取映射表

获取映射表之前需要进行双目标定获取相机参数，具体操作步骤参考上一篇文章。
这里使用OpenCV库中的stereoRectify函数配合initUndistortRectifyMap函数进行图像映射表的计算，函数中各类参数矩阵含义在此不做解释，具体代码如下。代码最后将计算得到的四个映射表矩阵保存至xml文件。

int main(void)
{
	cv::Mat cameraMatrix1 = (cv::Mat_<double>(3, 3) << 591.02482981, -0.26160718, 347.10028729, 0.0, 594.53920305, 211.70964625, 0.0, 0.0, 1.0);
	cv::Mat cameraMatrix2 = (cv::Mat_<double>(3, 3) << 597.91014066, -0.06403916, 337.37116277, 0.0, 602.74968283, 216.70548617, 0.0, 0.0, 1.0);
	cv::Mat distCoeffs1 = (cv::Mat_<double>(5, 1) << 0.04620326, 0.00084191, -0.00056648, -0.00420301, -0.20072713);
	cv::Mat distCoeffs2 = (cv::Mat_<double>(5, 1) << 0.06399693, -0.06656621, 0.00105274, -0.00153776, -0.16573330);
	cv::Size imageSize(640, 480);
	cv::Mat R = (cv::Mat_<double>(3, 3) << 0.99992918, -0.00770894, 0.00906646, 0.00777881, 0.99994012, -0.00769691, -0.00900658, 0.00776689, 0.99992928);
	cv::Mat T = (cv::Mat_<double>(3, 1) << -150.65606533, -1.03590462, 2.47469780);
	cv::Mat Left_Mapx(640, 480, CV_32FC1);
	cv::Mat Left_Mapy(640, 480, CV_32FC1);
	cv::Mat Right_Mapx(640, 480, CV_32FC1);
	cv::Mat Right_Mapy(640, 480, CV_32FC1);
	cv::Mat R1, R2, P1, P2, Q;

	cv::stereoRectify(cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2, imageSize, R, T, R1, R2, P1, P2, Q);

	cv::initUndistortRectifyMap(cameraMatrix1, distCoeffs1, R1, P1, imageSize, CV_32FC1, Left_Mapx, Left_Mapy);
	cv::initUndistortRectifyMap(cameraMatrix2, distCoeffs2, R2, P2, imageSize, CV_32FC1, Right_Mapx, Right_Mapy);

	cv::FileStorage fw("Left_Map.xml", cv::FileStorage::WRITE);
	fw << "Left_Mapx" << Left_Mapx;
	fw << "Left_Mapy" << Left_Mapy;
	fw << "Right_Mapx" << Right_Mapx;
	fw << "Right_Mapy" << Right_Mapy;
	fw.release();

	return 0;
}

映射表处理保存

将一幅图像的完整映射表写入FPGA/ZYNQ的BRAM中以供随时读取肯定是不现实的，这里需要先将映射表以文件的形式保存到SD卡上，在系统初始化时将其读入DDR存储空间，再由图像校正IP核进行访问读取。
使用Matlab读取xml文件并将映射表转换为bin文件保存，代码如下。

clear all;

doc = xmlread("Left_Map.xml");

left_mapx = doc.getElementsByTagName('Left_Mapx');
rows = str2double(left_mapx.item(0).getElementsByTagName('rows').item(0).getTextContent());
cols = str2double(left_mapx.item(0).getElementsByTagName('cols').item(0).getTextContent());
data_node = left_mapx.item(0).getElementsByTagName('data').item(0);
data_str = char(data_node.getTextContent());
data_arr = sscanf(data_str, '%e');
Left_Mapx = single(reshape(data_arr, [cols, rows])');

left_mapy = doc.getElementsByTagName('Left_Mapy');
rows = str2double(left_mapy.item(0).getElementsByTagName('rows').item(0).getTextContent());
cols = str2double(left_mapy.item(0).getElementsByTagName('cols').item(0).getTextContent());
data_node = left_mapy.item(0).getElementsByTagName('data').item(0);
data_str = char(data_node.getTextContent());
data_arr = sscanf(data_str, '%e');
Left_Mapy = single(reshape(data_arr, [cols, rows])');

for i = 1:rows
    for j = 1:cols
        Left_Mapx_data(i, j) = typecast(Left_Mapx(i, j), 'uint32');
        Left_Mapy_data(i, j) = typecast(Left_Mapy(i, j), 'uint32');
    end
end

fileID = fopen('Left_Mapx.bin','wb');
fwrite(fileID, Left_Mapx_data', 'uint32');
fclose(fileID);

fileID = fopen('Left_Mapy.bin','wb');
fwrite(fileID, Left_Mapy_data', 'uint32');
fclose(fileID);

最好可以使用WinHEX之类的软件对保存的bin文件进行检查，确保数据正确。
在这里插入图片描述

图像校正IP

在HLS平台使用remap函数即可完成图像校正IP设计，不过与之前的设计不同的是，这里添加了两个AXI接口用于映射表数据的读取。

#define HEIGHT 480
#define WIDTH  640

typedef hls::stream< ap_axiu<8,1,1,1> > AXIS_GRAY;
typedef xf::cv::Mat<XF_8UC1, HEIGHT, WIDTH, XF_NPPC1, 0> GRAY_IMAGE;
typedef xf::cv::Mat<XF_32FC1, HEIGHT, WIDTH, XF_NPPC1, 0> MAP_IMAGE;

void Image_Correct(AXIS_GRAY &Video_Input, AXIS_GRAY &Video_Output, ap_uint<32>* Mapx, ap_uint<32>* Mapy)
{
	#pragma HLS INTERFACE axis port = Video_Input
	#pragma HLS INTERFACE axis port = Video_Output
	#pragma HLS INTERFACE m_axi depth=307200 port=Mapx offset=slave bundle=Mapx_data
	#pragma HLS INTERFACE m_axi depth=307200 port=Mapy offset=slave bundle=Mapy_data
	#pragma HLS INTERFACE s_axilite port = return

	GRAY_IMAGE Image_Input, Image_Output;
	MAP_IMAGE Image_Mapx, Image_Mapy;

	#pragma HLS DATAFLOW

	xf::cv::AXIvideo2xfMat(Video_Input, Image_Input);

	xf::cv::Array2xfMat(Mapx, Image_Mapx, WIDTH);
	xf::cv::Array2xfMat(Mapy, Image_Mapy, WIDTH);

	xf::cv::remap<16, XF_INTERPOLATION_BILINEAR, XF_8UC1, XF_32FC1, XF_8UC1, HEIGHT, WIDTH, XF_NPPC1, false, 0, 0, 0, 0>
	(Image_Input, Image_Output, Image_Mapx, Image_Mapy);

	xf::cv::xfMat2AXIvideo(Image_Output, Video_Output);
}

软硬件部署编程

生成IP核导出到Vivado后，根据自己的实际用途进行部署即可。最后在软件端的代码大致流程如下。
SD卡系统初始化->读取bin文件->初始化图像校正IP核->设置映射表地址->启动图像校正IP核

void Image_Correct_Init(void)
{
	SD_SYS_Init();
	Map_bin_read(Lx, Left_Mapx, &fil);
	Map_bin_read(Ly, Left_Mapy, &fil);
	Map_bin_read(Rx, Right_Mapx, &fil);
	Map_bin_read(Ry, Right_Mapy, &fil);

	XImage_correct_Initialize(&xcorrect_0, XPAR_IMAGE_CORRECT_0_DEVICE_ID);
	XImage_correct_Set_Mapx(&xcorrect_0, (u64)Left_Mapx);
	XImage_correct_Set_Mapy(&xcorrect_0, (u64)Left_Mapy);
	XImage_correct_EnableAutoRestart(&xcorrect_0);

	XImage_correct_Initialize(&xcorrect_1, XPAR_IMAGE_CORRECT_1_DEVICE_ID);
	XImage_correct_Set_Mapx(&xcorrect_1, (u64)Right_Mapx);
	XImage_correct_Set_Mapy(&xcorrect_1, (u64)Right_Mapy);
	XImage_correct_EnableAutoRestart(&xcorrect_1);

	XImage_correct_Start(&xcorrect_1);
	XImage_correct_Start(&xcorrect_0);
}