【matlab图像处理笔记2】【图像变换】（一）图像的算术运算与几何变换、图像插值算法

前言

本篇文章将介绍和应用图像的算术运算和几何变换,并对插值算法进行说明。比较简单的我就不举例了。

图像的算术运算

图像相加

图像的加法运算是将一幅图像的内容叠加在另一幅图像上，或者给图像的每一个像素加一个常数来改变图像的亮度。主要应用是改变图像亮度和图像叠加。

函数：

Z = imadd(X,Y)

图像差分

主要作用是检测图像的变化和检测运动物体。

函数：

Z = imsubtract(X,Y)

图像乘法

主要作用是掩膜和缩放。

函数：

Z = immultiply(X,Y)

什么是掩膜：

可以对图像上一些区域起屏蔽作用。

图像除法

主要作用是矫正成像设备的非线性影响。

函数：

Z = imdivide(X,Y)

$Z=\frac{X}{Y}$

图像的线性组合

函数

Z = imlincomb(A,X,B,Y,C) % Z = A*X+B*Y+C
Z = imlincomb(A,X,C) 	 % Z = A*X+C
Z = imlincomb(A,X,B,Y)	 % Z = A*X+B*Y

图像的几何变换

图像平移

假设图中一点为$f(x_0,y_0)$, 对其水平平移tx个单位，垂直平移ty个单位，那么用矩阵表示应该为：
$$\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& tx\\ 0& 1& ty\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]$$
matlab中并没有提供平移图像的函数，但是可以通过膨胀函数平移图像。

应用示例

close all;clc;clear;
I = imread('example2.jpg');
subplot(1,2,1),imshow(I);title("original 1");

se = translate(strel(1),[50,100]); % 将一个平面结构元素向下移动50，向右边移动100
X = imdilate(I,se); %利用膨胀平移图像
subplot(1,2,2),imshow(X);title("now img");

图片镜像

设图像矩阵为$(M,N)$ 。

图像镜像分为垂直镜像和水平镜像。

垂直镜像：
$$\begin{array}{rl}& x_1=M-x_0\\ & y_1=y_0\end{array}$$
水平镜像:
$$\begin{array}{rl}& x_1=x_0\\ & y_1=N-y_0\end{array}$$
应用示例

函数

X = flip(I,dim = _)
% dim = 1 水平镜像(翻转列)
% dim = 2 垂直镜像（翻转行）
% dim = 3 翻转第三维，可能是颜色？

close all;clc;clear;
I = imread('example2.jpg');
subplot(2,2,1),imshow(I);title("original");

X_1 = flip(I,1); % 翻转行
X_2 = flip(I,2); % 翻转列
X_3 = flip(I,3); % 翻转第三维
subplot(2,2,2),imshow(X_1);title("水平镜像");
subplot(2,2,3),imshow(X_2);title("垂直镜像");
subplot(2,2,4),imshow(X_3);title("?");

图片转置

设$(x_0,y_0)$是原图上的点，则转置为：
$$\begin{array}{rl}& x_1=y_0\\ & y_1=x_0\end{array}$$
表示为矩阵形式：
$$\left[\begin{array}{ccc}{x}_1& y_1& 1\end{array}\right]=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{y}_0& x_0& 1\end{array}\right]=\left[\begin{array}{ccc}{x}_0& y_0& 1\end{array}\right]$$

注意：转置后图像的高度和宽度也会发生变化。

示例

matlab中需要构建转换矩阵，然后用imwarp变换图像。

close all;clc;clear;
I = imread('example2.jpg');
subplot(1,2,1),imshow(I);title("original");

T=affine2d([0 1 0;1 0 0;0 0 1]);%构造空间变换结构T.这里为转置变换矩阵
X=imwarp(I,T);  % 根据位移场变换图像。
subplot(1,2,2),imshow(X);title("now");

图像旋转

设点$(x_0,y_0)$经过旋转$\theta$ 角度后，坐标变为$(x_1,y_1)$。

旋转前：
$$\{\begin{array}{r}{x}_0=rcos\theta \\ y_0=rsin\theta \end{array}$$
旋转后：
$$\{\begin{array}{r}{x}_1=rcos(\alpha -\theta )=rcos\alpha cos\theta +rsin\alpha sin\theta =x_{0}cos\theta +y_{0}sin\theta \\ y_1=rsin(\alpha -\theta )=rsin\alpha cos\theta -rcos\alpha sin\theta =-x_{0}sin\theta +y_{0}cos\theta \end{array}$$
矩阵形式：
$$\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\theta & sin\theta & 0\\ -sin\theta & cos\theta & 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]$$
对矩阵求逆可得逆变换：
$$\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\theta & -sin\theta & 0\\ sin\theta & cos\theta & 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$$
示例

函数：

X = imrotate(A,angle) 
X = imrotate(A,angle,method)
X = imrotate(A,angle,method,bbox)

• angle：角度，大于0顺时针旋转，小于0逆时针旋转
• method：插值方法，method取值为：‘nearest’(默认)最近邻插值、'bilinear’双线性插值、'bicubic’双三次插值（关于插值算法将在下面介绍）
• bbox：返回图像的大小，取值为’crop’或’loose’。'crop’输出大小和输入图像大小想等，对旋转后的图像进行裁剪；‘loose’(默认)表示使输出图像足够大，包含完整的旋转图像.

close all;clc;clear;
I = imread('example2.jpg');
subplot(2,2,1),imshow(I);title("original");

X_1 = imrotate(I,45);
subplot(2,2,2),imshow(X_1);title("angle 45");
X_2 = imrotate(I,45,'bicubic');
subplot(2,2,3),imshow(X_2);title("angle 45 bicubic");
X_3 = imrotate(I,45,'bicubic','crop');
subplot(2,2,4),imshow(X_3);title("angle 45 bicubic crop");

图像缩放

将放大或者缩小后的图像将其的坐标（长宽）拉伸或者压缩到和原图一样大时，其像素坐标点对应在原图上的位置就是其映射位置。假设图像x轴方向缩放比为$f_x$，y轴方向缩放比为$f_y$ ,则原图中的点$(x_0,y_0)$缩放后对应的新位置为：
$$\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& 0\\ 0& f_y& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]$$

注：以下图示来自（三）图像的放大和缩小_淡定的炮仗的博客-CSDN博客_图像缩放原理

仔细看一下图就懂了。但是对于图像放大而言，这只是第一步。

观察图像放大的图示，会发现中间空了很多没有值的像素点位。上述图像来源的博客中用python具体实现了一下直接放大的代码，详情请见博客。该博客在最后提到，“放大的图像由于是原图像素直接搬移到放大后的画布上，导致放大后的画布上的一些像素位置没有值（值为0）”。为了解决该问题，需要用到图像插值算法进行补全。关于图像插值算法将在下一节说明。

示例

函数

X = imresize(I,m) % I可以是灰度、RGB、二值图像。m为缩放尺寸，m大于0小于1时为缩小；m大于1时为放大。
X = imresize(I,[mrows,ncols]) % [mrows ncols]为放大后的行和列。当mrows或ncols取值为NaN，函数会根据I的纵横比，结合另一个已知值算出mrows或ncols的值。mrows和ncols不可同时为NaN.
[X,newmap] = imresize(I,map,m) % 对索引图像进行缩放
[...] = imresize(...,method) % ...表示可为之前说过的任意一种方式，method表示选用的插值算法。method值可选择插值方法的类型：'nearest'(默认)最近邻插值、'bilinear'双线性插值、'bicubic'双三次插值；或者选择插值的核函数：'box'Box型核函数、'triangle' 三角型核函数(bilinear相同)、'Cubic'立方体型核函数(bicubic相同)等。
[...] = imresize(...,parameter,value,...) % 通用形式，这里不对该方法进行详细说明。

关于最后那种方法，详细取值表格请见连接：图像处理之图像的几何变换_Hard Coder的博客-CSDN博客_图像几何变换

close all;clc;clear;
I = imread('example2.jpg');
figure();imshow(I);title("original");
X_1 = imresize(I,[NaN,100],'box');
figure();imshow(X_1);title("[mrows ncols],box");
X_2 = imresize(I,0.5);
figure();imshow(X_2);title("m");
[X,map] = rgb2ind(I,16);
[X_3,newmap] = imresize(X,map,1.3);
figure();imshow(X_3,newmap);title("index img");

图像插值算法

参考文章：一篇文章为你讲透双线性插值 - 知乎 (zhihu.com) 不过要注意的是，参考文章中有一些错误。

简单来说，插值指利用已知的点来“猜”未知的点，图像领域插值常用在修改图像尺寸的过程，由旧的图像矩阵中的点计算新图像矩阵中的点并插入，不同的计算过程就是不同的插值算法。

常用的插值算法有三种：

1. 最近邻(Nearest Interpolation)：计算速度最快，效果最差。
2. 双线性插值(Bilinear Interpolation)：双线性插值是用原图像中4(2*2)个点计算新图像中1个点，效果略逊于双三次插值，速度比双三次插值快，较为平衡，在很多框架中属于默认算法。
3. 双三次插值(Bicubic interpolation)：双三次插值是用原图像中16(4*4)个点计算新图像中1个点，效果比较好，但是计算代价过大。

最近邻插值算法

又称邻接插值算法。选取距离插入的像素点最近的一个像素点，用它的像素值代替插入的像素点。

公式：
$$\begin{array}{rl}& sr{c}_x=de{s}_x\times (sr{c}_w/de{s}_w)\\ & sr{c}_y=de{s}_y\times (sr{c}_h/de{s}_h)\end{array}$$
此公式是四舍五入的规则。其中：

• $sr{c}_x$：原图像中像素点的x坐标
• $sr{c}_y$：原图像中像素点的y坐标
• $de{s}_x$：变换后图像的像素点的x坐标
• $de{x}_y$：变换后图像的像素点的y坐标
• $sr{c}_w$：原图像宽度(width)
• $sr{c}_h$：原图像高度(height)
• $de{s}_w$：变换后图像的宽度
• $de{s}_h$：变换后图像的高度

有的小伙伴可能就要问了，为什么src在等式左边啊？

实际上这个公式是先有了变换后的图像，然后这个图像中有些像素值缺失的点位。现在要计算这些点位在原图像中离哪个像素点位最近，然后用其替换，所以src在左边。可以多看看参看文章中计算示例。

最近邻法不需要计算只需要寻找原图中对应的点，所以最近邻法速度最快，但是会破坏原图像中像素的渐变关系，原图像中的像素点的值是渐变的，但是在新图像中局部破坏了这种渐变关系。

双线性插值算法

单线性插值

（以下图示来自之前提到的参考文章）

已知中P1点和P2点，坐标分别为$(x1,y1)$、$(x2,y2)$，要计算 $[x1,x2] $区间内某一位置 x 在直线上的y值。

看图就知道了，实际上单线型插值就是建立（线性）函数，然后找x对应的$f(x)$即可。

根据两点求一条直线公式：
$$\frac{y-y_1}{x-x_1}=\frac{y_2-y_1}{x_2-x_1}$$
整理：
$$y=\frac{x_2-x}{x_2-x_1}{y}_1+\frac{x-x_1}{x_2-x_1}{y}_2$$
上述是对于一维（图像）而言，x即像素点位，y为像素值。为了便于后续理解，将y改写为$f(x)$ 。右式$f(x_i)$前的系数改称为权重。
$$f(x)=\frac{x_2-x}{x_2-x_1}f(x_1)+\frac{x-x_1}{x_2-x_1}f(x_2)$$
现在将一维图像拓展为二维图像。

双线性插值

已知四个点$Q_{11}(x_1,y_1),Q_{12}(x_1,y_2),Q_{21}(x_2,y_1),Q_{22}(x_2,y_2)$。根据该求点$P(x,y)$ 的像素值。

双线性插值是分别在两个方向计算了共3次单线性插值：在x方向求2次单线性插值，获得$R1(x,y_1)$、$R2(x,y_2)$两个临时点，再在y方向计算1次单线性插值得出$P(x,y)$。

第一步：
$$\begin{array}{rl}& f(R_1)=\frac{x_2-x}{x_2-x_1}f(Q_{11})+\frac{x-x_1}{x_2-x_1}f(Q_{21})\\ & f(R_2)=\frac{x_2-x}{x_2-x_1}f(Q_{12})+\frac{x-x_1}{x_2-x_1}f(Q_{22})\end{array}$$

为什么权值计算没有涉及y轴？

因为y轴没变，所以权值仅取决于x轴。在接下来的第二步中也是同样的道理，x轴没变，权值仅取决于y轴。

第二步：
$$f(P)=\frac{y_2-y}{y_2-y_1}f(R_1)+\frac{y-y_1}{y_2-y_1}f(R_2)$$
先暂时不联立第一步和第二步，我们先想想已知四个点的关系。我们进行插值时，找的四个点应该是靠在一起的，所以有：
$$\begin{array}{rl}& x_2-x_1=1\\ & y_2-y_1=1\end{array}$$
化简

第一步：
$$\begin{array}{rl}& f(R_1)=(x_2-x)f(Q_{11})+(x-x_1)f(Q_{21})\\ & f(R_2)=(x_2-x)f(Q_{12})+(x-x_1)f(Q_{22})\end{array}$$
第二步：
$$f(P)=(y_2-y)f(R_1)+(y-y_1)f(R_2)$$
联立第一步和第二步：
$$\begin{array}{rl}f(P)& =(y_2-y)f(R_1)+(y-y_1)f(R_2)\\ & =(y_2-y)[(x_2-x)f(x_1,y_1)+(x-x_1)f(x_2,y_1)]+(y-y_1)[(x_2-x)f(x_1,y_2)+(x-x_1)f(x_2,y_2)]\\ & =(y_2-y)(x_2-x)f(x_1,y_1)+(y_2-y)(x-x_1)f(x_2,y_1)+(y-y_1)(x_2-x)f(x_1,y_2)+(y-y_1)(x-x_1)f(x_2,y_2)\\ & =(y_2-y)(x_2-x)f(Q_{11})+(y_2-y)(x-x_1)f(Q_{21})+(y-y_1)(x_2-x)f(Q_{12})+(y-y_1)(x-x_1)f(Q_{22})\end{array}$$
总结

双线性插值算法是有缺陷的，比如边界像素点还是存在有的像素只是进行了单线性插值，并不能保证每一个像素都是双线性插值。不过这里暂时不讨论。

双三次插值算法

又称三次卷积插值。它更复杂，不仅考虑了4个邻近点，还考虑了灰度值的变换率。双三次插值算法可以克服最近邻和双线性插值算法的缺陷，计算精度高。但由此也会导致计算量较大。

这里暂时不对双三次插值算法进行详细讨论。