EmguCV学习笔记 VB.Net 10.1 人脸检测 CascadeClassifier类

版权声明：本文为博主原创文章，转载请在显著位置标明本文出处以及作者网名，未经作者允许不得用于商业目的。

EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。

教程VB.net版本请访问：EmguCV学习笔记 VB.Net 目录-CSDN博客

教程C#版本请访问：EmguCV学习笔记 C# 目录-CSDN博客

笔者的博客网址：https://blog.csdn.net/uruseibest

教程配套文件及相关说明以及如何获得pdf教程和代码，请移步：EmguCV学习笔记

学习VB.Net知识，请移步： vb.net 教程 目录_vb中如何用datagridview-CSDN博客

 学习C#知识，请移步：C# 教程 目录_c#教程目录-CSDN博客

 

10.1 人脸检测 CascadeClassifier类

CascadeClassifier类是EmguCV中用于人脸检测的一个重要类。它是基于Haar特征的级联分类器（Cascade Classifier，是一种基于Haar特征的目标检测算法），它具有较高的检测准确率，常用于人脸检测、行人检测等场景。

CascadeClassifier类的基本原理可以分为以下几个步骤：

1. 特征提取。首先，需要对图像进行特征提取，将图像转换为一组特征向量。Haar特征是一种基于图像亮度变化的特征，可以用于检测人脸的边缘、线段和区域等特征。

2. 训练分类器。根据特征向量，可以训练一个级联分类器，将人脸和非人脸区域进行分类。级联分类器由多个弱分类器组成，每个弱分类器可以检测特定的Haar特征。

3. 应用分类器。将分类器应用于图像中的每个窗口，检测其中是否包含人脸。由于Haar特征的计算量较大，可以采用图像金字塔的方法对图像进行缩放，以便在不同尺度的图像中进行人脸检测。

在实现中，CascadeClassifier类提供了一系列的接口函数，可以用于加载训练好的分类器、设置检测参数、进行人脸检测等操作。在使用时，需要调用CascadeClassifier类中的DetectMultiScale函数，传入待检测的图像和检测参数，可以得到检测结果，即图像中所有人脸的位置和大小。需要注意的是，级联分类器虽然在人脸检测等场景中表现良好，但在一些复杂场景下可能会出现漏检或误检的情况。

CascadeClassifier常用方法：

1. CascadeClassifier构造函数

该方法用于创建CascadeClassifier对象，并加载指定的级联分类器文件。其语法为：

Public Sub New(ByVal fileName As String)

参数说明：

1. fileName：要加载的级联分类器XML文件。常用的级联分类器XML文件有：

1. haarcascade_frontalface_alt.xml：人脸检测器，使用的是Haar特征，能够检测正脸、侧脸、带眼镜等多种情况的人脸。
2. haarcascade_eye.xml：眼睛检测器，能够检测人脸中的眼睛。
3. haarcascade_fullbody.xml：行人检测器，能够检测整个行人的图像。
4. haarcascade_upperbody.xml：上半身检测器，能够检测行人的上半身区域。
5. haarcascade_car.xml：车辆检测器，能够检测汽车的前部和侧部。

2. DetectMultiScale方法

该方法用于对图像进行目标检测并返回检测结果。其声明如下：

Public Function DetectMultiScale (

         image As IInputArray,

         Optional scaleFactor As Double = 1.1,

         Optional minNeighbors As Integer = 3,

         Optional minSize As Size = Nothing,

         Optional maxSize As Size = Nothing

) As Rectangle()

参数说明：

1. Image：待检测的图像。
2. scaleFactor：缩放比例因子，缩放比例越小，检测时间越长，检测精度越高。
3. minNeighbors：符合检测标记的个数，用于控制对象检测时候的误检率和漏检率，参数越大，检测结果越精确，但是漏检率也会增加。
4. minSize：检测目标的最小尺寸，小于此尺寸的目标将被忽略。
5. maxSize：检测目标的最大尺寸，大于此尺寸的目标将被忽略。

返回值：

返回一个矩形数组，表示图像中所有检测到的目标位置和大小。

下面将提供多个代码来说明级联分类器的使用。

【代码位置：frmChapter10】Button1_Click

    '级联分类器检测人脸

    Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click

        '使用训练好的某个识别文件

        Dim face As New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_frontalface_alt2.xml")

        Dim m As New Mat("C:\learnEmgucv\hy.jpg", ImreadModes.Color)

        Dim rects() As Rectangle

        '使用级联分类器进行检测

        rects = face.DetectMultiScale(m)

        '输出矩形框

        For i As Integer = 0 To rects.Length - 1

            CvInvoke.Rectangle(m, rects(i), New MCvScalar(0, 0, 255), 2)

        Next

        ImageBox1.Image = m

End Sub

输出结果如下图所示：

图10-1 多个人脸检测

两个级联分类器联合使用来检测鼻子：

【代码位置：frmChapter10】Button2_Click

   '两个级联分类器联合使用来检测鼻子

    Private Sub Button2_Click(sender As Object, e As EventArgs) Handles Button2.Click

        '级联分类器，训练好的人脸文件

        Dim face As New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_frontalface_alt2.xml")

        '级联分类器，训练好的鼻子文件

        Dim nose As New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_mcs_nose.xml")

        Dim m As New Mat("C:\learnEmgucv\hy1.jpg", ImreadModes.Color)

        Dim rectfaces() As Rectangle

        rectfaces = face.DetectMultiScale(m)

        For i As Integer = 0 To rectfaces.Length - 1

            CvInvoke.Rectangle(m, rectfaces(i), New MCvScalar(0, 0, 255), 2)

            '获得已经取得的人脸区域图像，将在此区域内进行检测

            Dim mFace As New Mat(m, rectfaces(i))

            Dim rectnoses() As Rectangle

            rectnoses = nose.DetectMultiScale(mFace)

            '绘制出检测到的鼻子区域矩形框

            For j As Integer = 0 To rectnoses.Length - 1

                CvInvoke.Rectangle(mFace, rectnoses(j), New MCvScalar(0, 255, 0), 2)

            Next

        Next

        ImageBox1.Image = m

End Sub

输出结果如下图所示：

 

图10-2 检测鼻子

检测并标识视频中的人脸：

【代码位置：frmChapter10】Button3_Click、vcCascade_ImageGrabbed、Button4_Click

    Dim vcCascade As VideoCapture

    Dim vcface As CascadeClassifier

    '是否停止视频标记

    Dim stopVC As Boolean

    '检测并标识视频中的人脸

    '具体检测代码在vcCascade_ImageGrabbed中

    Private Sub Button3_Click(sender As Object, e As EventArgs) Handles Button3.Click

        vcCascade = New VideoCapture(0)

        If vcCascade.IsOpened = False Then

            MessageBox.Show("打开文件失败")

            Exit Sub

        End If

        stopVC = False

        '添加ImageGrabbed事件

        AddHandler vcCascade.ImageGrabbed, AddressOf vcCascade_ImageGrabbed

        vcCascade.Start()

        vcface = New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_frontalface_alt2.xml")

    End Sub

    '检测人脸

    Private Sub vcCascade_ImageGrabbed(sender As Object, e As EventArgs)

        If stopVC = True Then

            '停止

            vcCascade.Stop()

            '释放资源

            vcCascade.Dispose()

            '取消事件

            RemoveHandler vcCascade.ImageGrabbed, AddressOf vcCascade_ImageGrabbed

            Exit Sub

        End If

        Dim nextframe As New Mat

        vcCascade.Retrieve(nextframe)

        Dim rectfaces() As Rectangle

        '检测人脸

        rectfaces = vcface.DetectMultiScale(nextframe)

        For i As Integer = 0 To rectfaces.Length - 1

            '绘制人脸矩形框

            CvInvoke.Rectangle(nextframe, rectfaces(i), New MCvScalar(0, 0, 255), 2)

        Next

        ImageBox1.Image = nextframe

        Threading.Thread.Sleep(40)

    End Sub

    '停止视频

    Private Sub Button4_Click(sender As Object, e As EventArgs) Handles Button4.Click

        stopVC = True

End Sub

输出结果由于笔者比较丑而显示空白。