【MATLAB图像融合】[17]使用奇异值分解实现图像融合的尝试

探讨使用奇异值分解实现图像融合思路及实现

引言：
奇异值分解类似一个黑匣子，我们知道它的运算以及得到奇异值矩阵之后的使用，但是难以解释为什么奇异值可以代表矩阵（图像）的某些特征。奇异值分解在计算机视觉领域最初被使用在图像压缩之中，人们发现经过分解后的奇异值，其前k个奇异值总是包含最多的信息，如下：

下面用MATLAB演示一下压缩实现：

clc;clear;
A=imread('06_3.jpg');
A=double(A);
[u,s,v]=svd(A);
vv=v';
[m,n]=size(A);

u1=zeros(m,40);s1=zeros(40,40);v1=zeros(40,n);
for i=1:m
    for j=1:40
        u1(i,j)=u(i,j);
    end
end
for i=1:40
    for j=1:40
        s1(i,j)=s(i,j);
    end
end
for i=1:40
    for j=1:n
        v1(i,j)=vv(i,j);
    end
end
p=u1*s1*v1;

figure;imshow(uint8(A));
figure;imshow(uint8(p));

压缩并不是本文的目的，我们将使用它另一方面的性质：奇异值矩阵S包含了图像中大量的能量信息，这里图像能量的定义使用最原始的全局能量和，即每个像素的像素值的平方和，可以得到以下推导：

有重要的发现，矩阵（图像）A的F范数与它的奇异值矩阵S的F范数相同，而图像的能量定义恰恰就是A的F范数，因此，奇异值的确 表示了原矩阵的能量。
基于以上的考虑，我们可以对融合图像进行奇异值分解，将能量部分使用加权融合，而残差部分使用极大值融合，有以下设计：

代码如下：

clc;clear;close all;
A=imread('camp_i.jpg');A=double(A);
B=imread('camp_v.jpg');B=double(B);
[ua,sa,va]=svd(A);va=va';
ua1=abs(ua);va1=abs(va);
[ub,sb,vb]=svd(B);vb=vb';
ub1=abs(ub);sb1=abs(sb);
[m,n]=size(A); 
uf=zeros(m,n);sf=zeros(n,n);vf=zeros(n,m);
if m>n
    tr=n;
else
    tr=m;
end

for i=1:tr
    for j=1:tr
        if i==j
            sf(i,j)=max(sa(i,j),sb(i,j));
            uf(i,j)=(ua(i,j)+ub(i,j))/2;
            vf(i,j)=(va(i,j)+vb(i,j))/2;
        else
            uf(i,j)=(ua(i,j)+ub(i,j))/2;
            vf(i,j)=(va(i,j)+vb(i,j))/2;
        end
    end
end

C=uf*sf*vf;
figure;imshow(uint8(A));
figure;imshow(uint8(B));
figure;imshow(uint8(C));

可以看到，实验结果较差，能分析到的原因在于：1，奇异值和左右矩阵一旦更改，便无法完美重构图像。2，方法有问题，或许应当根据奇异矩阵在源图像上进行像素级融合。3，虽然知道奇异矩阵包含能量信息，右矩阵包含细节信息，但分解后无法定位这些矩阵与原矩阵的关联关系，导致融合规则难设计。

右矩阵包含的细节信息

总结
目前没有找到有效的使用SVD直接进行融合的方法。作为传统的数学方法，SVD或许在权重分配等环节中可以应用，尝试不同的方案和用法，或许可以用于图像融合，欢迎评论区私信讨论！