Python+opencv学习记录11：直方图反向投影

1.直方图反向投影原理

直方图反向投影用于图像分割或查找图像中感兴趣的对象,简单来说，它会创建一个与输入图像大小相同（单个通道）的图像,其中每个像素对应于属于我们对象该像素的概率.输出图像将使我们感兴趣的对象比其余部分更明显。
首先，我们创建一个包含我们感兴趣对象的图像的直方图，对象应尽可能填充图像以获得更好的结果，颜色直方图比灰度直方图更受青睐，因为对象的颜色比灰度强度更能定义对象，然后我们将这个直方图“反投影”到我们需要找到对象的测试图像上。

2.2D直方图的制作与显示

在直方图反向投影中，要在HSV色彩空间中绘制其直方图，代码为：

def hist2D_demo(image):                
    hsv = cv.cvtColor(image, cv.COLOR_BGR2HSV)
    hist = cv.calcHist([image], [0, 1], None, [180, 256], [0, 180, 0, 256])
    cv.imshow("hist2D", hist)

其效果为：


这样就绘制出了美杜莎女王的2D直方图，只不过比较简单粗暴。
我们还可以使用绘图库来进行绘制，其代码为：

def hist2D_demo(image):                 
    hsv = cv.cvtColor(image, cv.COLOR_BGR2HSV)
    hist = cv.calcHist([image], [0, 1], None, [180, 256], [0, 180, 0, 256])
    plt.imshow(hist, interpolation='nearest') # 直方图的显示
    plt.title("2D Histogram")
    plt.show()

得到的结果为：

这样显示出来的就稍微要好看一点。

3.直方图反向映射

首先我们要读取两张图像，一张是目标图像，一张是感兴趣区域图像，然后把它们转化到HSV色彩空间，接着，我们要计算感兴趣区域的直方图，之后再归一化到0-255之间，最后我们要使用到一个API，叫calcBackProjection，
cv2.calcBackProjection(images, channels, hist, ranges, scale, dst)
images：输入图像，必须加[]
channels：用于计算反向投影的通道列表，通道数必须与直方图维度相匹配
hist：输入的直方图，直方图的bin可以是密集(dense)或稀疏(sparse)
ranges：直方图中每个维度bin的取值范围
scale：可选输出反向投影的比例因子
dst：目标图像

其代码为：

def back_projection_demo():             # 直方图反向投影的生成
    sample = cv.imread("D:/opencv3/image/lenaT1.png")
    target = cv.imread("D:/opencv3/image/lena.png")
    roi_hsv = cv.cvtColor(sample, cv.COLOR_BGR2HSV)     # 感兴趣区域转HSV
    target_hsv = cv.cvtColor(target, cv.COLOR_BGR2HSV)  # 目标区域转HSV

    cv.imshow("sample", sample)
    cv.imshow("target", target)

    roiHist = cv.calcHist([roi_hsv], [0, 1], None, [180, 256], [0, 180, 0, 256])
    cv.normalize(roiHist, roiHist, 0, 255, cv.NORM_MINMAX)
    dst = cv.calcBackProject([target_hsv], [0, 1], roiHist, [0, 180, 0, 256], 1)
    cv.imshow("backProjection_Demo", dst)

感兴趣图像为：

目标图像为：

经过直方图反向投影后的效果为：

我们还可以调一调参数，将calcHist里的[180, 256]改成[36, 48]，其效果为：

与上图比起，投影更加清晰。

完整代码

import cv2 as cv                # 导入opencv模块
import numpy as np              # 导入数学函数库
from matplotlib import pyplot as plt


def back_projection_demo():             # 直方图反向投影的生成
    sample = cv.imread("D:/opencv3/image/lenaT1.png")
    target = cv.imread("D:/opencv3/image/lena.png")
    roi_hsv = cv.cvtColor(sample, cv.COLOR_BGR2HSV)     # 感兴趣区域转HSV
    target_hsv = cv.cvtColor(target, cv.COLOR_BGR2HSV)  # 目标区域转HSV

    cv.imshow("sample", sample)
    cv.imshow("target", target)

    roiHist = cv.calcHist([roi_hsv], [0, 1], None, [36, 48], [0, 180, 0, 256])
    cv.normalize(roiHist, roiHist, 0, 255, cv.NORM_MINMAX)
    dst = cv.calcBackProject([target_hsv], [0, 1], roiHist, [0, 180, 0, 256], 1)
    """
    cv2.calcBackProjection(images, channels, hist, ranges, scale, dst)
    images：输入图像，必须加[]
    channels：用于计算反向投影的通道列表，通道数必须与直方图维度相匹配
    hist：输入的直方图，直方图的bin可以是密集(dense)或稀疏(sparse) 
    ranges：直方图中每个维度bin的取值范围 
    scale：可选输出反向投影的比例因子 
    dst：目标图像
    """
    cv.imshow("backProjection_Demo", dst)


def hist2D_demo(image):                 # 2D直方图的制作与显示
    hsv = cv.cvtColor(image, cv.COLOR_BGR2HSV)
    hist = cv.calcHist([image], [0, 1], None, [180, 256], [0, 180, 0, 256])
    # hist = cv.calcHist([image], [0, 1], None, [36, 48], [0, 180, 0, 256])   # 图像直方图获取
    # cv.imshow("hist2D", hist)
    plt.imshow(hist, interpolation='nearest') # 直方图的显示
    plt.title("2D Histogram")
    plt.show()


print("------------hello python!------------")

# src = cv.imread("D:/opencv3/image/mds.jpg")
# cv.namedWindow("input_image", cv.WINDOW_AUTOSIZE)
# cv.imshow("input_image", src)
# hist2D_demo(src)
back_projection_demo()

cv.waitKey(0)
cv.destroyAllWindows()          # 释放所有窗口