OpenCV—Python CascadeClassifier(级联分类器)

级联分类器包括两个：训练和检测；

一、CascadeClassifier的简介：

CascadeClassifier是opencv下objdetect模块中用来做目标检测的级联分类器的一个类；简而言之是滑动窗口机制+级联分类器的方式；早期opencv版本仅支持haar特征的目标检测，分别在opencv2.2和2.4之后开始支持LBP和HOG特征的目标检测。

Haar特征：

类Haar-like特征描述如下图：

在所有缩放尺度下，这些特征组成了boosting分类器使用的全部“原材料”。他们从原始灰度图像的积分图中快速计算得出。

LBP特征：

LBP是一种描述图像局部纹理特征的算子，被用于Viola-Jones检测器，回想Haar小波，它是在一小块邻域上通过小波变换的特征向量，而LBP在构造特征向量与此不同，在一个长宽都为3的倍数的矩形上，将它分割成不相重叠的3X3的小块，在每一个小块上，用积分图计算像素和，然后将中心点像素与周围8个像素点比较得到一个8位的特征值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3X3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。如下图所示：

HOG特征：

局部归一化的梯度方向直方图，是一种对图像局部重叠区域的密集型描述符, 它通过计算局部区域的梯度方向直方图来构成特征。
关于技术详情请与实现查看：https://blog.csdn.net/wsp_1138886114/article/details/82964639
本质：统计图像局部区域的梯度方向信息来作为该局部图像区域的表征。

二、检测步骤(视频取帧)

检测框的尺寸必须比训练样本的尺寸大
1.load()加载xml级联分类器
2.从视频中取帧，导出image；
3.图像灰度化；
4.图像resize；
5.调用detectMultiScale()实现多尺度检测：

g_cascade.detectMultiScale(InputArray image,	//输入图像
			CV_OUT std::vector<Rect>& objects,	//输出检测到的目标区域
			double scaleFactor =1.1,			//搜索前后两次窗口大小比例系数，默认1.1，即每次搜索窗口扩大10%
			int minNeighbors = 3,				//构成检测目标的相邻矩形的最小个数 如果组成检测目标的小矩形的个数和小于minneighbors - 1 都会被排除，如果minneighbors为0 则函数不做任何操作就返回所有被检候选矩形框
			int flags = 0,						//若设置为CV_HAAR_DO_CANNY_PRUNING 函数将会使用Canny边缘检测来排除边缘过多或过少的区域 
			Size minSize = Size(),				//能检测的最小尺寸
			Size maxSize = Size()				//能检测的最大尺寸
			);

import numpy as np
import cv2


def mosaic(ROI_image, nsize=15):
    rows, cols = ROI_image.shape
    dist = ROI_image.copy()
    for y in range(0, rows, nsize):
        for x in range(0, cols, nsize):
            dist[y:y+nsize, x:x+nsize] =  np.mean(ROI_image[y:y+nsize, x:x+nsize])
    return dist


def VideoCapture_frame(save_path):
    fourcc = cv2.VideoWriter_fourcc(*'XVID')
    out = cv2.VideoWriter(save_path, fourcc, 20.0, (640, 480))

    face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
    eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')

    cap = cv2.VideoCapture(0)
    while cap.isOpened():
        read, frame = cap.read()
        if not read:
            break
        grey = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        Rects = face_cascade.detectMultiScale(grey, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32))
        if len(Rects) > 0:
            for (x, y, w, h) in Rects:
                cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 0), 2)
                roi_color = frame[y: y + h, x: x + w]
                roiImg = grey[y:y + h, x:x + w]
                #=============马赛克===============
                result = mosaic(roiImg, nsize=15)
                grey[y:y+h, x:x+w] = result
                #=================================
                eyes = eye_cascade.detectMultiScale(roiImg)
                for (ex, ey, ew, eh) in eyes:
                    cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
        #cv2.imshow("grey", grey)   # 显示马赛克效果
        cv2.imshow("CaptureFace", frame)
        if cv2.waitKey(5) & 0xFF == ord('q'):
            break
        out.write(frame)

    cap.release()
    out.release()
    cv2.destroyAllWindows()
if __name__ == '__main__':
    save_path = './face_cascade.avi'
    VideoCapture_frame(save_path)

代码示例（使用图片）：

# encoding:utf-8
import cv2
import numpy as np
 
# 运行之前，检查cascade文件路径是否在相应的目录下
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier('haarcascade_eye.xml')
 
# 读取图像并检测脸部
img =cv2.imread('timg.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30),flags=cv2.CASCADE_SCALE_IMAGE)
print('Detected ', len(faces), " face")
 
for (x, y, w, h) in faces:
    img = cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)
    roi_gray = gray[y: y + h, x: x + w]
    roi_color = img[y: y + h, x: x + w]
    
    eyes = eye_cascade.detectMultiScale(roi_gray)
    for(ex, ey, ew, eh) in eyes:
        cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
 
cv2.imshow('img', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

训练

注意事项
1、正样本要resize成统一大小，负样本不需要resize

2、负样本的数量最好要超过正样本的数据
3、opencv_createsamples从正样本集创建训练样本时，-w和-h的参数代表要检测的滑动窗口大小，不一定是正样本的图像大小。
4、-w和-h两个参数对最后训练得到的xml的检测效果有较大的影响。因此实验时-w和-h两个参数的值可以多尝试。
5、有些人可能需要用HOG特征，但OpenCV 3.x以上的cascade版本不支持HOG特征检测，如果要用HOG特征，可以采用2.4.x的版本。
6、对于车辆检测，LBP的效果不比HAAR的差，而且训练速度快。

参考与鸣谢
训练：https://www.cnblogs.com/arkenstone/p/8119153.html
官网：http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/user_guide/ug_traincascade.html

https://blog.csdn.net/qq_31261509/article/details/85076720
https://blog.csdn.net/yangdashi888/article/details/80385041
检测：https://blog.csdn.net/qingdujun/article/details/80470563
LBP特征：https://blog.csdn.net/lk3030/article/details/84034963
https://github.com/ageitgey/face_recognition
https://blog.csdn.net/u011707542/article/details/76283776