OpenCV图像处理

OpenCV图像处理

图像的几何变换

Opencv提供两种变换函数，cv2.warpAffine()和cv2.warpPerspective()。基于这两个函数可以得到所有类型的变换。

• cv2.warpAffine() 以一个$2\times 3$变换矩阵为输入
• cv2.warpPerspective() 以一个$3\times 3$变换矩阵为输入

转换

转换（Translation）是物体位置的转移。如果在$\left(x,y\right)$方向上的偏移量为$\left(t_x,t_y\right)$，那么变换矩阵$M$可如下定义。将$M$以类型为np.float32的numpy数组表示，然后将其传入到cv2.warpAffine() 函数中
$$M=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\end{array}\right]$$

import cv2
import numpy as np
img = cv2.imread('messi5.jpg',0)
rows,cols = img.shape
# 偏移量为(100,50)
M = np.float32([[1,0,100],[0,1,50]])
dst = cv2.warpAffine(img,M,(cols,rows))
cv2.imshow('img',dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

旋转

得到一个旋转角度为$\theta$的图像的变换矩阵$M$定义如下：
$$M=\left[\begin{array}{cc}cos\theta & -sin\theta \\ sin\theta & cos\theta \end{array}\right]$$
OpenCV提供了可调整旋转中心的缩放旋转，以至于可以以任何位置为中心旋转。调整后的变换矩阵定义如下：
$$M=\left[\begin{array}{ccc}\alpha & \beta & \left(1-\alpha \right)\cdot center.x-\beta \cdot center.y\\ -\beta & \alpha & \beta \cdot center.x+\left(1-\alpha \right)\cdot center.y\end{array}\right]$$
其中
$$\begin{array}{c}\alpha =scale\cdot cos\theta \\ \beta =scale\cdot sin\theta \end{array}$$
Opencv提供了cv2.getRotationMatrix2D()函数寻找变换矩阵。

img = cv2.imread('messi5.jpg',0)
rows,cols = img.shape
# 没有缩放，旋转图像90度
M = cv2.getRotationMatrix2D((cols/2,rows/2),90,1)
dst = cv2.warpAffine(img,M,(cols,rows))

仿射变换

仿射变换（Affine Transformation）是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。那么每个仿射变换可以由一个矩阵$A$和一个向量$b$给出，假设原图像为$X$，目标图像为$Y$，仿射变换可用公式表示为$Y=A\cdot X+b$。

仿射变换，在原图中所有平行的线条在输入图像中仍然平行。OpenCV提供了cv2.getAffineTransform()函数得到一个$2\times 3$的变换矩阵，传送给cv2.warpAffine() 函数。

为了得到变换矩阵，需要原图中的三个点和这三个点在输出图像中的位置。

img = cv2.imread('drawing.png')
rows,cols,ch = img.shape
pts1 = np.float32([[50,50],[200,50],[50,200]])
pts2 = np.float32([[10,100],[200,50],[100,250]])
M = cv2.getAffineTransform(pts1,pts2)
dst = cv2.warpAffine(img,M,(cols,rows))
plt.subplot(121),plt.imshow(img),plt.title('Input')
plt.subplot(122),plt.imshow(dst),plt.title('Output')
plt.show()

透视变换

透视变换（Perspective Transformation）是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。 --百度百科

透视变换需要一个$3\times 3$大小的变换矩阵。为了得到变换矩阵，需要原图中的四个点和这三个点在输出图像中的相应位置。并且四个点中的三个不能在一条直线上。OpenCV提供cv2.getPerspectiveTransform() 函数得到变换矩阵，然后传送给cv2.warpPerspective() 函数。

img = cv2.imread('sudokusmall.png')
rows,cols,ch = img.shape
pts1 = np.float32([[56,65],[368,52],[28,387],[389,390]])
pts2 = np.float32([[0,0],[300,0],[0,300],[300,300]])
M = cv2.getPerspectiveTransform(pts1,pts2)
dst = cv2.warpPerspective(img,M,(300,300))
plt.subplot(121),plt.imshow(img),plt.title('Input')
plt.subplot(122),plt.imshow(dst),plt.title('Output')
plt.show()

边框矩形

边框矩形有两种形式，一种是直边矩形（Straight Bounding rectangle），一种是最小面积的边框矩形，被称为旋转矩形（Rotated Rectangle）。直边矩形不考虑物体的角度，因此，直边矩形的面积不是最小的。旋转矩形考虑物体的旋转角度。下图中的青色矩形就是直边矩形，红色矩形是旋转矩形。

直边矩形

OpenCV中提供了**cv2.boundingRect()**函数提供直边矩形。

# x,y是矩形的左上坐标，w，h是宽和高
x,y,w,h = cv2.boundingRect(cnt)
img = cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),2)

旋转矩形

OpenCV中提供cv2.minAreaRect() 函数提供旋转矩形。返回左上坐标为$\left(x,y\right)$，宽和高为$\left(w,h\right)$，旋转角度为$\theta$的2D边框。为了能够绘制矩形，需要借助cv2.boxPoints()函数得到矩形的4个角坐标。

rect = cv2.minAreaRect(cnt)
box = cv2.boxPoints(rect)
box = np.int0(box)
im = cv2.drawContours(im,[box],0,(0,0,255),2)

参考

1. OpenCV-Python Tutorials Documentation
2. 仿射变换