FPGA ISP 金字塔融合—Round1

FPGA ISP 金字塔融合—Round1

最近接到一个任务，要在FPGA实现高斯金字塔和拉普拉斯金字塔融合的实现宽动态,…

不过仔细想想，平静下心态来，我还是的自己学会这个算法。不管FPGA实现的最终结果如何， 也算是对自己的一种提高了。

感谢CSshengxy在Github上提供的代码，如黑夜里的光照亮了我。有兴趣的同学自行去搜索下载，一定要给他star啊！

看代码首先从main开始

clear all;
clc;

% leftImage = double(imread('apple.png'));
% rightImage = double(imread('orange.png'));

iternum = 5;

if (size(leftImage) ~= size(rightImage))
    error('Input images are not the same size!')
end

% 预处理，使图片height,width为偶数
[rows, cols, channels] = size(leftImage);

% mask gaussian
mask = double(zeros(rows, cols, channels));
mask(:, 1:floor(cols/2), :) = ones(rows, floor(cols/2), channels);
mask_pyramid = GaussianPyramid(mask, iternum);


% leftImage pyramid and rightImage pyramid
left_pyramid = LaplacianPyramid(leftImage, iternum);
right_pyramid = LaplacianPyramid(rightImage, iternum);

% TODO: get blend laplacian pyramid
blend_pyramid = cell(iternum, 1);
for i = 1:iternum
    blend_pyramid{i} = left_pyramid{i} .* mask_pyramid{i} + right_pyramid{i} .* (1 - mask_pyramid{i});
end

% reconstruct the blend image
blendImage = LaplacianReconstruct(blend_pyramid);
imwrite(uint8(blendImage), 'blendImage.png');

figure;
imshow(uint8(leftImage));
title('leftImage');
figure;
imshow(uint8(rightImage));
title('rightImage');
figure;
imshow('blendImage.png');
title('blendImage');

主函数首先读入两幅图片，分为left和right，判断两幅图像的size是否相同

并对图像做预处理，保证图像分辨率为偶数。

此处每一层的掩码需要保存，作为权重，与对应层的拉普拉斯图像金字塔相乘，然后叠加。

接下是今天的重点，高斯金字塔，即掩码金字塔。

function pyramid=GaussianPyramid(image, iternum)
    gaussian_filter = [1, 4, 6, 4, 1]*(1/16);
    gaussian_filter = gaussian_filter' * gaussian_filter;
    
    pyramid = cell(iternum, 1);
    pyramid{1} = image;
    
    for i = 2 : iternum
        % gaussian filtering
        % imfilter 对于rgb图像相当于三个通道分别处理,然后进行cat操作
        temp = imfilter(pyramid{i-1}, gaussian_filter, 'replicate');
        % down sampling
        rows = size(temp, 1);
        cols = size(temp, 2);
        temp = temp(1:2:rows, 1:2:cols, :);
        pyramid{i} = temp;
        
    end

作者首先在水平方向计算5点高斯分布，然后计算二位5x5高斯kernel

这里金字塔的最底层，即为输入的图像，直接赋值到元胞数组pyramid{1}中，重点是看第2层到第iternum层是如何计算的。

对于第i层，首先将第i-1层经过高斯滤波，这里边界采用复制的方式处理（后面通过仿真，确定边界处理的方式，对算法影响的程度，FPGA在实现图像算法时，我通常是不做处理）。

输出的结果再水平方向和垂直方向按照奇数列抽取，得到当前层i所对应的权重，并存入元胞数组。

此处需要注意融合的初始权重设计，如图所示，左侧全为1，右侧全为0。

为什么这么设计，下载代码运行就能知道了，哈哈!

不过实际在基于金字塔完成HDR时，两幅图像的权重计在论文中看到，会考虑到图像的边缘、饱和度、亮度。这个在我学会了这个基础的以后，尝试自己改代码，实现一下HDR融合权重的计算。