原理:
假设有两帧图片,第K帧(当前帧)与第K-1帧(上一帧),第K帧图片以M*N的图像块为单位,分成一个个块,块间不重叠。对于第x个图像块A,在第K-1帧中,寻找与它最匹配的图像块A',我们认为A图像块是由A'图像块平移而得到的。于是就把图像块A'到A的运动矢量MV记作图像块A的运动矢量。
全搜索算法:
假设图像块在X方向与Y方向的可以最大位移为Xmax与Ymax,那么在以图像块A为中心的(M+2*Xmax,N+2*Ymax)的范围内,对每一个可能的图像块都进行匹配计,寻找一个最优的匹配块。全搜索算法最简单,但是算法耗时比较多,计算量大。
匹配准则:
1 互相关函数
2 均方误差函数
3 绝对平均误差函数
这是常用的三个匹配准则,一般情况下,用第三个准则,比较简单。
代码:
本程序中,两帧图片进行了块匹配操作,第二帧图片是288*352的,分成8*8的小块,其中的每个块都是在前一帧中匹配而来的。
<span style="background-color: rgb(255, 255, 255);">%本程序用于试验块匹配法
path='e:\test-pic\foreman.yuv';
yuvx=288;
yuvy=352;
start=1;
count=100;
pics=loadYUV(path,yuvx,yuvy,start,count);%得到RGB序列
picsgray=zeros(size(pics,1),size(pics,2),size(pics,4));
for i=1:count
picsgray(:,:,i)=rgb2gray(pics(:,:,:,i));%得到灰度序列
% imshow(picsgray(:,:,i));
% pause(0.1);
end
pic1=picsgray(:,:,1);%前一帧的图片
pic2=picsgray(:,:,2);%当前帧的图片
pic3=zeros(size(pic1));%预测帧
%imshow(pic1-pic2);
pich=size(pic1,1);
picl=size(pic1,2);
blockx=8;
blocky=8;%设置块的大小
blockh=pich/blockx;
blockl=picl/blocky;
blocka=zeros(blockx,blocky);%当前帧的某块
blockb=zeros(blockx,blocky);%在上一帧中匹配的块
vx=30;
vy=30;%一块运动的最大速度
min=1000000;%存放绝对误差的最小值
for i=1:blockh
for j=1:blockl
blocka=pic2( (i-1)*8+1:i*8,(j-1)*8+1:j*8 );%当前帧中的块
%在pic1中匹配
for ii=(i-1)*8+1-vy:i*8+vy-blockx+1
for jj=(j-1)*8+1-vx:j*8+vx-blockx+1
if (ii>=1) && (ii<=(pich-7)) && (jj>=1) && (jj<=picl-7)
blockb=pic1(ii:ii+7,jj:jj+7);
temp=sum(sum(abs(blocka-blockb)));
if min>temp
min=temp;
blockc=blockb;
%px=ii;py=jj;
end
end
end
end
pic3( (i-1)*8+1:i*8,(j-1)*8+1:j*8 )=blockc;
min=1000000;
end
end
pic1=uint8(pic1);%前一帧
pic2=uint8(pic2);%当前帧实际图像
pic3=uint8(pic3);%当前帧估计图像
figure(1);
imshow(pic1);
title('前一帧');
figure(2);
imshow(pic2);
title('当前帧');
figure(3);
imshow(pic3);
title('当前帧预测图像');
figure(4);
imshow(abs(pic2-pic1));
title('当前帧与前一帧差');
figure(5);
imshow(abs(pic2-pic3));
title('当前帧与预测帧差');</span>
程序运行的效果如下:
可以看出,预测后的图片跟当前帧更加的接近啦。但是有一个问题,就是块匹配法预测的图片,容易产生方块现象,从预测图片中就可以看出来。