Opencv学习笔记（十二）重映射和仿射变换

一、重映射

1.重映射的概念

重映射，就是将一副图像上某些位置上的像素移动到一个新的位置以构成一幅全新图像的过程，例如我们对原始图像上的图像上的每一个像素进行如下操作：
$dst(x,y)=src(src.cols-x,y)$
就能够得到一张原图水平翻转之后的图片。
算法实现方面由重映射原理可知：我们要知道处理后图片的每个像素点坐标与原图上该像素点的坐标有何映射关系。这一形式可以通过建立变换后的坐标矩阵来实现，具体实现过程为先创建两个和原图大小一致的矩阵，分别储存变换后图片当前位置像素对应原图像素的X、Y坐标，如果某处所期待的（X,Y)坐标不是整数就需要对其进行插值，如果坐标超出了原图的范围则会根据边界填充类型修改，默认则是BODER_CONSTAN置零。
原理验证：

import numpy as np
import cv2

img = np.uint8(np.random.rand(8, 8)*255)
map_y = np.array([[0, 1], [2, 3]], dtype=np.float32)
map_x = np.array([[5, 6], [7, 10]], dtype=np.float32)
mapped_img = cv2.remap(img, map_x, map_y, cv2.INTER_LINEAR,borderMode=0,borderValue=(255))
cv2.waitKey(0)

可以看出原图中存在的坐标则在结果图中直接用该坐标对应像素填充，不存在的则根据边界填充类型使用了255.

2. 重映射使用实例

opencv中remap的函数原型如下：

remap( InputArray src, OutputArray dst,
InputArray map1, InputArray map2,
int interpolation, int borderMode = BORDER_CONSTANT,
const Scalar& borderValue = Scalar());

第一个参数为原图，没有过多限制，单通道多通道均可 ；
第二个参数为输出图像，与原图具有相同的大小和类型；
第三个参数为X方向，即列方向上的变换后坐标矩阵，需要为CV_32FC1、和原图同样大小；
第三个参数为Y方向，即行方向上的变换后坐标矩阵，需要为CV_32FC1、和原图同样大小；
第四个参数为插值类型，通常选用线性插值，即INTER_LINEAR;
第五个参数为边界填充类型；
第六个参数为边界用常数填充时的值，默认为0；
使用示例：

int main()
{
	Mat srcImg, dstImg;
	srcImg = imread("E:\\material\\assassin.jpeg");
	Mat pos_x, pos_y;
	pos_x.create(srcImg.size(),CV_32FC1);
	pos_y.create(srcImg.size(), CV_32FC1);
	for (int i = 0;i < srcImg.rows;i++)
	{
		for (int j = 0;j < srcImg.cols;j++)
		{
			pos_x.at < float >(i,j) = j;
			pos_y.at<float>(i, j) = srcImg.rows - i;

		}
	}
	remap(srcImg, dstImg, pos_x, pos_y, INTER_LINEAR);
	imshow("原图",srcImg);
	imshow("重映射", dstImg);
	waitKey(0);
	return 1;
}

二、仿射变换

1.仿射变换概念

仿射变换是对图像进性线性变换后接上一个平移，将图像从一个坐标系换到另一个坐标系的过程，其对图像的基本操作包括了对图像的线性变换：旋转、缩放、翻转、剪切和图像的平移。见下图（来自维基百科）：

仿射变换保持了图像的“平直性”和“平行性”，即在原图的一条直线在新的坐标系中仍然为一条直线，同时二维图形的相对位置关系不变，在原图中平行的两条直线仍然为平行直线；三角形仍然为三角形；四边形仍然为四边形。这是一个非常好的性质，当我们要进行图像识别而目标物因为拍摄角度或者是其它问题导致图像畸变时，就可以使用仿射变换搭配着透视变换实现将目标物转换到主视图，更便于对去进行检测。
二维图像的仿射变换可以表征为原坐标和一个变换矩阵相乘的形式：
$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]$=$\left[\begin{array}{ccc}{a}_1& b_1& c_1\\ a_2& b_2& c_2\end{array}\right]\ast$$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$
其中a,b所在部分矩阵实现了线变换，c所在的部分矩阵实现了平移。

2.仿射变换使用实例

opencv中已经给出了求变换矩阵已经进行变换的函数，如getRotationMatrix2D()、getAffineTransform()和warpAffine()。
getRotationMatrix2D()是用于求旋转和缩放变换的变换矩阵,函数原型如下：

getRotationMatrix2D( Point2f center, double angle, double scale );

第一个参数为旋转中心；
第二个 参数为旋转角度$\theta$；
第三个采纳数为缩放比例$scale$；
输出旋转矩阵如下
$\left[\begin{array}{ccc}\alpha & \beta & （1-\alpha )\ast center.x-\beta \ast center.y\\ -\beta & a& \beta \ast center.x+(1-\alpha )\ast center.y\end{array}\right]$
其中$\alpha =scale\ast cos(\theta ),b=scale\ast cos(\theta )$，逆时针旋转$\theta$为正值。

实际上查阅文献发现理论上的旋转矩阵和此处函数输出旋转矩阵并不一致，矛盾点在于$\beta$取值正好相反，但二者对于角度正负的定义又是一致的，目前还未解决这一分歧。

getAffineTransform()函数也是用于求变换矩阵，但不只局限与旋转变换，而是根据提供的变换前后点的坐标直接给出变换矩阵，实现原理不明确，可能是最小二乘法。给出函数原型如下：

Mat getAffineTransform( const Point2f src[], const Point2f dst[] );

第一个参数为变换前的点集；
第二个参数为希望得到的对应变换后点集；
通常需要三组点。
warpAffine()为执行仿射变换的函数，其函数原型如下：

warpAffine( InputArray src, OutputArray dst,
InputArray M, Size dsize,
int flags = INTER_LINEAR,
int borderMode = BORDER_CONSTANT,
const Scalar& borderValue = Scalar());

第一个参数为输入图像；
第二个参数为输出图像，和原图具有相同的大小和类型；
第三个参数为2×3的变换矩阵；
第四个参数为输出图像的尺寸；
第五个参数为插值类型；
第六个参数为边界填充类型；’
第七个参数为边界填充类型为BORDER_CONSTANT时填充的值，默认为0；
给出使用实例如下：

int main()
{
	Mat src, dst_1, dst_2;
	Mat trans_1(2, 3, CV_32FC1), trans_2(2, 3, CV_32FC1); //变换矩阵
	Point2f srctriangle[3];
	Point2f dsttriangle[3];  //求变换矩阵所用的点
	
	src = imread("E:\\material\\assassin.jpeg");
	if (src.empty())
	{
		cout << "not found the picture";
		return -1;
	}
	//图片仿射变换
	//变换前三组点
	srctriangle[0] = Point2f(0, 0);
	srctriangle[1] = Point2f(src.cols - 1, 0);
	srctriangle[2] = Point2f(0, src.rows - 1);
	//变换后三组点
	dsttriangle[0] = Point2f(0, src.rows * 0.33);
	dsttriangle[1] = Point2f(src.cols * 0.65, src.rows * 0.35);
	dsttriangle[2] = Point2f(src.cols * 0.15, src.rows * 0.6);
	//得到变换矩阵
	trans_1 = getAffineTransform(srctriangle, dsttriangle);
	warpAffine(src, dst_1, trans_1, src.size());

	//图片旋转变换
	Point center = Point(src.cols / 2, src.rows / 2);
	double angle = -30;  //顺时针旋转30度
	double scale = 0.8;  //缩小至原图的0.8
	trans_2 = getRotationMatrix2D(center, angle, scale);
	warpAffine(src, dst_2, trans_2, src.size());
	imshow("原图", src);
	imshow("变形后图像", dst_1);
	imshow("旋转缩放后图像", dst_2);
	waitKey(0);
}

参考文献
How do I use OpenCV’s remap function?
OpenCV代码提取：remap函数的实现
仿射变换
opencv之仿射变换
opencv仿射变换和透视变换门牌号实践总结
旋转变换（一）旋转矩阵
利用最小二乘法求解仿射变换参数
如何求解图像变换的矩阵