OpenCV 截取任意形状的ROI

规则矩形的ROI提取可以使用 numpy 的数据切片操作，但是真实场景的ROI形状并不规则，可能伴随着旋转角度、多点折线等特征。这里介绍利用 OpenCV 截取任意形状ROI的基本思路。会使用到的几个比较重要的方法有：

直线拟合：cv.fitLine
旋转矩阵：cv.getRotationMatrix2D
仿射变换：cv.warpAffine
轮廓绘制：cv.drawContours
图像融合：cv.add
外接框拟合：cv.minAreaRect

一、基本思路

这里针对的是一般的 BGR 图像，ROI 以二维坐标点的形式给出，可以是多个点、多边形。

• 计算 ROI 的倾斜角度 $\alpha$；
• 将原始图像不剪切、反方向旋转 $\alpha$；
• 计算 ROI 在旋转后图像中的位置；
• 计算 ROI 在旋转后图像中的掩码；
• 图像融合，ROI 截取。

二、代码实现

import cv2 as cv
import numpy as np
import math

def crop(image, pts):
    '''
    :param image: numpy.array, origin image
    :param pts: numpy.array, points of bbox at any angle, shape with (-1, 2)
    :return:
    '''

    h, w = image.shape[:2]

    # 计算 ROI 的倾斜角度
    cos_a, sin_a, _, _ = cv.fitLine(pts, cv.DIST_L2, 0, 0.01, 0.01)
    angle = math.asin(sin_a) * 180 / math.pi	# 此处需要注意角度的正负

    # 根据 ROI 倾斜角计算旋转矩阵，旋转中心就是 ROI 的中心
    cX, cY = np.mean(pts[:, 0]), np.mean(pts[:, 1])
    M = cv.getRotationMatrix2D((cX, cY), angle, 1)
    cos = np.abs(M[0, 0])
    sin = np.abs(M[0, 1])

    # 计算旋转之后图像的宽度和高度
    nW = int((h * sin) + (w * cos))
    nH = int((h * cos) + (w * sin))

    # 调整旋转矩阵
    M[0, 2] += (nW / 2) - cX
    M[1, 2] += (nH / 2) - cY

    # 旋转图像
    image = cv.warpAffine(image, M, (nW, nH), borderValue=(255, 255, 255))

    # 计算旋转之后的 ROI
    pts = np.pad(pts, pad_width=((0, 0), (0, 1)), mode='constant', constant_values=((0, 0), (0, 1))).reshape((-1, 3, 1))
    pts = [np.dot(M, pts[i]) for i in range(pts.shape[0])]
    pts = np.array(pts, np.int32).reshape((-1, 1, 2))

    # 计算 ROI 掩码
    mask = np.zeros((nH, nW, 3), dtype=np.uint8) + 255
    mask = cv.drawContours(mask, [pts], -1, (0, 0, 0), -1)
    
    # 掩码融合
    image = cv.add(image, mask)
    
    # 截取规则图像
    rect = cv.minAreaRect(pts)
    box = np.int0(cv.boxPoints(rect))
    roi = image[min(box[:, 1]):max(box[:, 1]), min(box[:, 0]):max(box[:, 0])]
    
    return roi

几点说明：

• 这里完成的ROI提取附带着将ROI旋转为水平角度，如果不需要旋转，可以省略旋转矩阵计算、原图旋转等步骤；
• 最终ROI图像还是要以 (w, h, c) 的形式返回，所以对不规则ROI这里采用白色背景填充（掩码和融合方式决定的），如果要用黑色背景填充可以考虑下面的方式，但是掩码需要改为黑色背景、白色ROI：

cv2.add(image, np.zeros(np.shape(image), dtype=np.uint8), mask=mask)

• 对于初始ROI的获取，可以人为交互式地从图像中选一些点，也可以用 cv.findContours 去计算轮廓；