《计算机视觉40例——从入门到深度学习(OpenCV-Python)》在介绍Python基础、OpenCV基础、计算机视觉理论基础、深度学习理论入门的基础上,介绍了计算机视觉领域内具有代表性的40个典型案例。这些案例中,既有传统的案例(数字识别、答题卡识别、物体计数、缺陷检测等),也有深度学习案例(图像分类、风格迁移、姿势识别、实例分割等),还有人脸识别方面(表情识别、驾驶员疲劳监测、识别性别与年龄等)案例。
本文简要截取书中第38个案例(驾驶员疲劳监测)的部分内容。更多内容大家可以参考书中第28章《人脸识别应用》。
疲劳驾驶极易引起交通事故,其一个重要表现就是犯困,眼睛会在超过正常眨眼的时间内一直处于闭合状态。因此,可以通过眼睛的纵横比(高宽比)来判断眼睛是否闭合(眨眼),进而判断驾驶员是否处于疲劳驾驶状态。
如图1所示,对睁眼、闭眼的情况进行了演示,其中:
- 左侧是正常的睁眼状态,眼睛的高度与宽度的比值在0.3左右。
- 右侧是闭眼(眨眼)状态,眼睛的高度与宽度的比值在0左右。
图1 眼睛模型
具体来说,Dlib使用6个关键点来标注眼睛,因此其高宽比的计算方式为:
下一步,需要判断正常的眨眼和长时间闭眼(疲劳)的区别。正常情况下,眨眼是一瞬间,而疲劳的闭眼是相对较长时间的。例如,在图2中:
- 上图中,高宽比仅仅在一瞬间处于较小值(约0),其余时间都是正常值(约0.3),此时对应的是正常眨眼。
- 下图中,高宽比在某一个较长时间内都处于较小值(约0),此时对应的是长时间闭眼。如果它的时长超过了我们事先规定的阈值,则将该状态判定为疲劳状态。
图2 眼睛高宽比
因此,在判断眼睛高宽比的基础上,还要衡量眼睛高宽比所持续的时间。反映到视频帧中,要增加一个计数器,该计数器的工作方式为:
- 眼睛高宽比小于0.3时,认为当前帧眼睛处于闭合状态,计数器加1。并判断计数器的值,如果计数器大于阈值(例如48),则认为眼睛闭合的时间过长了,提示风险;如果小于等于阈值认为眼睛闭合的时间在正常范围内,当前的闭眼,仅仅是眨眼,无需任何额外处理。
- 眼睛高宽比大于等于0.3时,当前帧眼睛处理睁开状态,将计数器清零。保证下次闭眼时,计数器能够从零开始重新计数。
根据上述分析,具体实现流程图如图3所示。
图3 流程图
本案例中,使用到了Dlib,它是一个现代工具包,包含机器学习算法和工具,用于在程序中构造软件来解决复杂的现实世界问题。它被工业界和学术界广泛应用于机器人、嵌入式设备、移动电话和大型高性能计算环境等领域。Dlib的开源许可允许用户在任何应用程序中免费使用它。
【核心代码截取(书中附有全部代码)】使用Dlib进行疲劳检测。
# ==============获取图像内的左眼、右眼对应的关键点集==============
def getEYE(image,rect):
landmarks=predictor(image, rect)
# 关键点处理为(x,y)形式
shape = np.matrix([[p.x, p.y] for p in landmarks.parts()])
# 计算左眼、右眼
leftEye = shape[42:48] #左眼,关键点索引从42到47(不包含48)
rightEye = shape[36:42] #右眼,关键点索引从36到41(不包含42)
return leftEye,rightEye
# ============计算眼睛的纵横比(小于0.3太小是闭眼或眨眼、超过0.3是睁眼)==========
def eye_aspect_ratio(eye):
# 眼睛用6个点表示。上下各两个,左右一个,结构如下所示:
#---------------------------------------------
# 1 2
# 0 3 <----这是眼睛的6个关键点
# 5 4
#---------------------------------------------
# 欧氏距离(垂直方向上的两个距离1和5、 2和4)
A = dist.euclidean(eye[1], eye[5])
B = dist.euclidean(eye[2], eye[4])
# 欧氏距离(水平距离0和3)
C = dist.euclidean(eye[0], eye[3])
#纵横比
ear = (A + B) / (2.0 * C)
return ear
# ================计算两眼的纵横比均值========================
def earMean(leftEye,rightEye):
# 计算左眼纵横比leftEAR、右眼纵横比rightEAR
leftEAR = eye_aspect_ratio(leftEye)
rightEAR = eye_aspect_ratio(rightEye)
# 均值处理
ear = (leftEAR + rightEAR) / 2.0
return ear
# ==============绘制眼框(眼眶的包围框)=======================
def drawEye(eye):
# 把眼睛圈起来1:convexHull,获取凸包
eyeHull = cv2.convexHull(eye)
# 把眼睛圈起来2:drawContours,绘制凸包对应的轮廓
cv2.drawContours(frame, [eyeHull], -1, (0, 255, 0), 1)
运行结果如图2所示,当眼睛的高宽比长时间低于阈值时,会显示危险提示“DANGEROUS!!!”。
图2 效果显示
第28章《人脸识别应用》中还介绍了人脸表情识别、易容术、识别性别年龄等案例的基本原理和实现过程。欢迎大家在《计算机视觉40例——从入门到深度学习(OpenCV-Python)》第28章《人脸应用案例》中获取更详细的内容。
书中包含的人脸识别相关案例有: