规则矩形的ROI提取可以使用 numpy 的数据切片操作,但是真实场景的ROI形状并不规则,可能伴随着旋转角度、多点折线等特征。这里介绍利用 OpenCV 截取任意形状ROI的基本思路。会使用到的几个比较重要的方法有:
直线拟合:cv.fitLine
旋转矩阵:cv.getRotationMatrix2D
仿射变换:cv.warpAffine
轮廓绘制:cv.drawContours
图像融合:cv.add
外接框拟合:cv.minAreaRect
一、基本思路
这里针对的是一般的 BGR 图像,ROI 以二维坐标点的形式给出,可以是多个点、多边形。
- 计算 ROI 的倾斜角度 α \alpha α;
- 将原始图像不剪切、反方向旋转 α \alpha α;
- 计算 ROI 在旋转后图像中的位置;
- 计算 ROI 在旋转后图像中的掩码;
- 图像融合,ROI 截取。
二、代码实现
import cv2 as cv
import numpy as np
import math
def crop(image, pts):
'''
:param image: numpy.array, origin image
:param pts: numpy.array, points of bbox at any angle, shape with (-1, 2)
:return:
'''
h, w = image.shape[:2]
# 计算 ROI 的倾斜角度
cos_a, sin_a, _, _ = cv.fitLine(pts, cv.DIST_L2, 0, 0.01, 0.01)
angle = math.asin(sin_a) * 180 / math.pi # 此处需要注意角度的正负
# 根据 ROI 倾斜角计算旋转矩阵,旋转中心就是 ROI 的中心
cX, cY = np.mean(pts[:, 0]), np.mean(pts[:, 1])
M = cv.getRotationMatrix2D((cX, cY), angle, 1)
cos = np.abs(M[0, 0])
sin = np.abs(M[0, 1])
# 计算旋转之后图像的宽度和高度
nW = int((h * sin) + (w * cos))
nH = int((h * cos) + (w * sin))
# 调整旋转矩阵
M[0, 2] += (nW / 2) - cX
M[1, 2] += (nH / 2) - cY
# 旋转图像
image = cv.warpAffine(image, M, (nW, nH), borderValue=(255, 255, 255))
# 计算旋转之后的 ROI
pts = np.pad(pts, pad_width=((0, 0), (0, 1)), mode='constant', constant_values=((0, 0), (0, 1))).reshape((-1, 3, 1))
pts = [np.dot(M, pts[i]) for i in range(pts.shape[0])]
pts = np.array(pts, np.int32).reshape((-1, 1, 2))
# 计算 ROI 掩码
mask = np.zeros((nH, nW, 3), dtype=np.uint8) + 255
mask = cv.drawContours(mask, [pts], -1, (0, 0, 0), -1)
# 掩码融合
image = cv.add(image, mask)
# 截取规则图像
rect = cv.minAreaRect(pts)
box = np.int0(cv.boxPoints(rect))
roi = image[min(box[:, 1]):max(box[:, 1]), min(box[:, 0]):max(box[:, 0])]
return roi
几点说明:
- 这里完成的ROI提取附带着将ROI旋转为水平角度,如果不需要旋转,可以省略旋转矩阵计算、原图旋转等步骤;
- 最终ROI图像还是要以 (w, h, c) 的形式返回,所以对不规则ROI这里采用白色背景填充(掩码和融合方式决定的),如果要用黑色背景填充可以考虑下面的方式,但是掩码需要改为黑色背景、白色ROI:
cv2.add(image, np.zeros(np.shape(image), dtype=np.uint8), mask=mask)
- 对于初始ROI的获取,可以人为交互式地从图像中选一些点,也可以用
cv.findContours
去计算轮廓;