Opencv项目实战：基于dlib的人脸关键点检测

已于 2023-09-28 10:17:51 修改
阅读量1.7k 收藏 17
点赞数 3
分类专栏： Opencv项目实战 深度学习 文章标签： opencv python 人工智能
于 2023-06-02 23:34:42 首次发布
版权声明：本文为博主原创文章，未经作者允许不得转载，且不得用于商业目的，否则将追究法律责任。
本文链接：https://blog.csdn.net/shinuone/article/details/130958271
版权
该文详细介绍了如何利用dlib库在Python中实现人脸检测和68个关键点定位，包括从dlib官网获取预训练模型，通过get_frontal_face_detector()检测人脸，使用shape_predictor_68_face_landmarks.dat文件定位脸部关键点，以及在图像和摄像头视频流上进行实时演示的方法。
摘要由CSDN通过智能技术生成

文章目录

一、项目简介

该项目基于dlib模块提供的人脸检测器以及关键点定位工具完成。首先通过检测器在图像中定位人脸的位置，然后通过关键点定位工具提取脸部关键点坐标，最后绘制脸部特征点。

二、环境配置

2.1、dlib人脸检测器：dlib.get_frontal_face_detector()

dlib官方详细说明：dlib.get_frontal_face_detector()

2.2、dlib关键点定位工具：shape_predictor_68_face_landmarks.dat

dlib官方预训练工具的下载地址：http://dlib.net/files/
（1）5个关键点检测：shape_predictor_5_face_landmarks.dat。五个点分别为：左右眼 + 鼻子 + 左右嘴角
（2）68个关键点检测：shape_predictor_68_face_landmarks.dat

脸部关键点注释详细请看：https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/
在这里插入图片描述

三、项目实战（加载视频）

  • 【参数配置】方式一：Pycharm + Terminal + 输入指令自动检测：python detect_face_parts.py --shape-predictor shape_predictor_68_face_landmarks.dat --image images/1.jpg
  • 【参数配置】方式二：Pycharm + 点击Edit Configuration，输入配置参数--shape-predictor shape_predictor_68_face_landmarks.dat --image images/1.jpg，点击Run开始检测。

在这里插入图片描述

from collections import OrderedDict
import numpy as np
import argparse
import dlib
import cv2

#https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/
#http://dlib.net/files/


def shape_to_np(shape, dtype="int"):
	"""获取68个关键点的坐标，并转换为ndarray格式"""
	# （1）创建68*2模板。68个关键点坐标(x,y)
	coords = np.zeros((shape.num_parts, 2), dtype=dtype)
	# （2）遍历每一个关键点, 得到坐标(x,y)
	for i in range(0, shape.num_parts):
		coords[i] = (shape.part(i).x, shape.part(i).y)
	return coords


def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
	"""可视化脸部位置"""
	overlay = image.copy()		# 绘制图像
	output = image.copy()		# 输出图像
	# （1）设置七个颜色，分别对应脸部的七个位置
	if colors is None:
		colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23), (168, 100, 168), (158, 163, 32), (163, 38, 32), (180, 42, 220)]
	# （2）遍历每一个区域（七个脸部位置）
	for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
		# 获取当前区域68个关键点的坐标
		(j, k) = FACIAL_LANDMARKS_68_IDXS[name]
		pts = shape[j:k]
		# 检查脸部位置
		if name == "jaw":		# 下巴使用线条绘制
			for l in range(1, len(pts)):
				ptA = tuple(pts[l - 1])
				ptB = tuple(pts[l])
				cv2.line(overlay, ptA, ptB, colors[i], 2)				# 绘制线条
		else:					# 其余位置使用凸包绘制
			hull = cv2.convexHull(pts)									# 计算凸包
			cv2.drawContours(overlay, [hull], -1, colors[i], -1)		# 绘制凸包
	# （3）图像融合
	cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)
	return output


if __name__ == '__main__':
	###################################################################################################################
	# （1）参数配置
	ap = argparse.ArgumentParser()
	# 		【参数1】面部地标预测器路径: shape_predictor_68_face_landmarks.dat
	ap.add_argument("-p", "--shape-predictor", required=True, help="path to facial landmark predictor")
	# 		【参数2】待检测图像的存放路径
	ap.add_argument("-i", "--image", required=True, help="path to input image")
	args = vars(ap.parse_args())

	# （2）68个关键点与5个关键点（嘴 + 右眉毛 + 左眉毛 + 右眼 + 左眼 + 鼻子 + 下巴）
	# from collections import OrderedDict 由于字典是无序的，故导入模块使得字典有序。因为需要按指定顺序提取，以识别当前数据。
	FACIAL_LANDMARKS_68_IDXS = OrderedDict([("mouth", (48, 68)),
											("right_eyebrow", (17, 22)),
											("left_eyebrow", (22, 27)),
											("right_eye", (36, 42)),
											("left_eye", (42, 48)),
											("nose", (27, 36)),
											("jaw", (0, 17))])
	FACIAL_LANDMARKS_5_IDXS = OrderedDict([("right_eye", (2, 3)), ("left_eye", (0, 1)), ("nose", 4)])
	###################################################################################################################
	# （1）先检测人脸，然后定位脸部的关键点。优点: 与直接在图像中定位关键点相比，准确度更高。
	detector = dlib.get_frontal_face_detector()							# 1.1、基于dlib的人脸检测器
	predictor = dlib.shape_predictor(args["shape_predictor"])			# 1.2、基于dlib的关键点定位（68个关键点）

	# （2）图像预处理
	image = cv2.imread(args["image"])									# 2.1、读取图像
	(h, w) = image.shape[:2]		# 获取图像的宽和高
	width = 500						# 指定宽度
	r = width / float(w)			# 计算比例
	dim = (width, int(h * r))		# 按比例缩放高度: (宽, 高)
	image = cv2.resize(image, dim, interpolation=cv2.INTER_AREA)		# 2.2、图像缩放
	gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)						# 2.3、灰度图

	# （3）人脸检测
	rects = detector(gray, 1)				# 若有多个目标，则返回多个人脸框

	# （4）遍历检测得到的【人脸框 + 关键点】
	for (i, rect) in enumerate(rects):		# rect: 人脸框
		shape = predictor(gray, rect)		# 4.1、定位脸部的关键点（返回的是一个结构体信息，需要遍历提取坐标）
		shape = shape_to_np(shape)			# 4.2、遍历shape提取坐标并进行格式转换: ndarray

		# 4.3、遍历当前框的所有关键点（name: 脸部位置。i,j表示脸部的坐标。）
		for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():
			clone = image.copy()
			cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)		# 在图像的指定位置显示当前脸部位置的名称
			# 4.4、根据脸部位置画点（每个脸部由多个关键点组成）
			for (x, y) in shape[i:j]:
				cv2.circle(clone, (x, y), 3, (0, 0, 255), -1)
			# 4.5、提取ROI区域（即截取脸部位置）
			(x, y, w, h) = cv2.boundingRect(np.array([shape[i:j]]))			# 矩形框得到坐标
			roi = image[y:y + h, x:x + w]									# 获取ROI区域
			(h, w) = roi.shape[:2]											# 获取ROI宽和高
			width = 250														# 指定宽度
			r = width / float(w)											# 计算比例
			dim = (width, int(h * r))										# 按比例缩放高度: (宽, 高)
			roi = cv2.resize(roi, dim, interpolation=cv2.INTER_AREA)		# 图像缩放

			# 4.6、显示图像
			cv2.imshow("ROI", roi)			# 将当前脸部位置截取出来
			cv2.imshow("Image", clone)		# 显示带有关键点特征的图像
			cv2.waitKey(0)

		# 可视化脸部位置
		output = visualize_facial_landmarks(image, shape)
		cv2.imshow("Image", output)
		cv2.waitKey(0)

四、项目实战（摄像头获取帧图像）

  • 【参数配置】方式一：Pycharm + Terminal + 输入指令自动检测：python detect_face_parts.py --shape-predictor shape_predictor_68_face_landmarks.dat
  • 【参数配置】方式二：Pycharm + 点击Edit Configuration，输入配置参数--shape-predictor shape_predictor_68_face_landmarks.dat，点击Run开始检测。
from collections import OrderedDict
import numpy as np
import argparse
import dlib
import cv2

# https://ibug.doc.ic.ac.uk/resources/facial-point-annotations/
# http://dlib.net/files/


def shape_to_np(shape, dtype="int"):
    """获取68个关键点的坐标，并转换为ndarray格式"""
    # （1）创建68*2模板。68个关键点坐标(x,y)
    coords = np.zeros((shape.num_parts, 2), dtype=dtype)
    # （2）遍历每一个关键点, 得到坐标(x,y)
    for i in range(0, shape.num_parts):
        coords[i] = (shape.part(i).x, shape.part(i).y)
    return coords


def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75):
    """可视化脸部位置"""
    overlay = image.copy()  # 绘制图像
    output = image.copy()  # 输出图像
    # （1）设置七个颜色，分别对应脸部的七个位置
    if colors is None:
        colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23), (168, 100, 168), (158, 163, 32), (163, 38, 32),
                  (180, 42, 220)]
    # （2）遍历每一个区域（七个脸部位置）
    for (i, name) in enumerate(FACIAL_LANDMARKS_68_IDXS.keys()):
        # 获取当前区域68个关键点的坐标
        (j, k) = FACIAL_LANDMARKS_68_IDXS[name]
        pts = shape[j:k]
        # 检查脸部位置
        if name == "jaw":  # 下巴使用线条绘制
            for l in range(1, len(pts)):
                ptA = tuple(pts[l - 1])
                ptB = tuple(pts[l])
                cv2.line(overlay, ptA, ptB, colors[i], 2)  # 绘制线条
        else:  # 其余位置使用凸包绘制
            hull = cv2.convexHull(pts)  # 计算凸包
            cv2.drawContours(overlay, [hull], -1, colors[i], -1)  # 绘制凸包
    # （3）图像融合
    cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output)
    return output


if __name__ == '__main__':
    ###################################################################################################################
    # （1）参数配置
    # 		【参数1】面部地标预测器路径: shape_predictor_68_face_landmarks.dat
    shape_predictor_path = "shape_predictor_68_face_landmarks.dat"

    # （2）68个关键点与5个关键点（嘴 + 右眉毛 + 左眉毛 + 右眼 + 左眼 + 鼻子 + 下巴）
    # from collections import OrderedDict 由于字典是无序的，故导入模块使得字典有序。因为需要按指定顺序提取，以识别当前数据。
    FACIAL_LANDMARKS_68_IDXS = OrderedDict([("mouth", (48, 68)),
                                            ("right_eyebrow", (17, 22)),
                                            ("left_eyebrow", (22, 27)),
                                            ("right_eye", (36, 42)),
                                            ("left_eye", (42, 48)),
                                            ("nose", (27, 36)),
                                            ("jaw", (0, 17))])
    ###################################################################################################################
    # （1）先检测人脸，然后定位脸部的关键点。优点: 与直接在图像中定位关键点相比，准确度更高。
    detector = dlib.get_frontal_face_detector()  # 1.1、基于dlib的人脸检测器
    predictor = dlib.shape_predictor(shape_predictor_path)  # 1.2、基于dlib的关键点定位（68个关键点）

    # （2）图像预处理
    cap = cv2.VideoCapture(0)  # 创建视频捕获对象，参数为摄像头索引号（一般为0）

    while True:
        ret, frame = cap.read()  # 读取摄像头的图像帧
        if not ret:
            break

        # 图像预处理
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)  # 2.3、灰度图

        # 人脸检测
        rects = detector(gray, 1)  # 若有多个目标，则返回多个人脸框

        # 遍历检测得到的【人脸框 + 关键点】
        for (i, rect) in enumerate(rects):  # rect: 人脸框
            shape = predictor(gray, rect)  # 4.1、定位脸部的关键点（返回的是一个结构体信息，需要遍历提取坐标）
            shape = shape_to_np(shape)  # 4.2、遍历shape提取坐标并进行格式转换: ndarray

            # 4.3、遍历当前框的所有关键点（name: 脸部位置。i,j表示脸部的坐标。）
            for (name, (i, j)) in FACIAL_LANDMARKS_68_IDXS.items():
                clone = frame.copy()
                cv2.putText(clone, name, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

                # 遍历当前脸部位置的所有关键点坐标（i-j）
                for (x, y) in shape[i:j]:
                    cv2.circle(clone, (x, y), 1, (0, 0, 255), -1)

                # 可视化脸部位置
                output = visualize_facial_landmarks(frame, shape)
                cv2.imshow("Output", output)
                cv2.imshow("Image", clone)

        # 按下Esc键退出
        if cv2.waitKey(1) == 27:
            break

    cap.release()  # 释放视频捕获对象
    cv2.destroyAllWindows()  # 关闭所有窗口
胖墩会武术
关注
专栏目录
Opencv项目实战：00 专栏内容介绍
m0_62919535的博客
07-04 1346
Opencv项目实战，持续更新中。如今更新到 24 石头剪刀布
人脸检测实战高级：使用 OpenCV、Python 和 dlib 完成眨眼检测(1)
m0_61408947的博客
04-18 698
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。 既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套
python 人脸关键点检测_opencv+python+dlib人脸关键点检测、实时检测
weixin_39527163的博客
12-17 555
安装的是anaconde3、python3.7.3，3.7环境安装dlib太麻烦，在anaconde3中新建环境python3.6.8，在3.6环境下安装dlib-19.6.1-cp36-cp36m-win_amd64.whl，下载地址：https://pypi.org/project/dlib/19.6.1/#filesvscode更改配置其中shape_predictor_68_face_la...
基于dlib和OpenCV的简单人脸表情识别
最新发布
2301_77444219的博客
06-21 606
MAR(shape)通过计算嘴角点之间的欧氏距离与嘴角到下巴中心点的距离的比值来得到口角的张开度（Mouth Aspect Ratio）。
低分，dlib人脸68个关键点检测
08-22
Dlib模块的68个人脸关键点检测，包括下巴：[0, 17]，右（左）眉毛：[17, 22]（[22, 27]），鼻子[27, 36]，右（左）眼睛[36, 42]（[42, 48]），嘴巴轮廓[48, 61]，嘴巴[61, 68]
Dlib库人脸关键点检测
qq_29541895的博客
10-09 2823
在很多场景下，我们要观察人物是否眨眼，很大概率可以根据上下眼皮是否闭合，以此来判断。 那么如果能把人脸打上关键点，是否就可以确认他的一些动作，例如，微笑，眨眼，愤怒。甚至三维人脸重建 那么本章节讲解如何在图片检测到人脸，并绘制出人脸关键点
python检测人脸用的什么库_python 基于dlib库的人脸检测
weixin_39604139的博客
12-04 89
该楼层疑似违规已被系统折叠隐藏此楼查看此楼代码import dlibimport cv2import osdef resize(img, width=None, height=None, inter=cv2.INTER_AREA):"""initialize the dimensions of the input image and obtainthe image size"""dim = No...
dlib实现人脸关键点检测检测方法
lujx_1024的博客
05-25 4117
文章目录概述关键点检测实现方法实现步骤代码示例效果实例关键类与接口方法概述关键点检测类: `dlib.shape_predictor`检测结果类 : `dlib.full_object_detection`关键点类：`dlib.point` `dlib.points` 概述 dlib支持检测人脸特征关键点，官方提供了68维度和5维度的人脸关键店检测预训练模型提供下载使用。 关键点检测实现方法 实现步骤 加载图片，进行人脸区域的检测 (包含人脸检测模型创建等) 传入图片和人脸检测结果，获取人脸换关键点数据
Dlib库实现人脸关键点检测（Opencv实现）
Keep_Trying_Go的博客
06-30 3908
Dlib库实现人脸关键点检测（Opencv实现）
Opencv与dlib联合进行人脸关键点检测与识别
热门推荐
ChenJoya的博客
07-22 3万+
前言 依赖库：opencv 2.4.9 /dlib 19.0/libfacedetection 本篇不记录如何配置，重点在实现上。使用libfacedetection实现人脸区域检测，联合dlib标记人脸特征点，最后使用opencv的FaceRecognizer实现人脸识别。 准备工作 1、配置好Opencv2.4.9。（Opencv3.1需要另外下载一个包才有FaceRecognizer...
opencv+dlib人脸关键点检测cpp版
Always On The Way
10-13 2854
#include <opencv2/opencv.hpp> #include <dlib/opencv.h> #include <dlib/image_processing/frontal_face_detector.h> #include <dlib/image_processing.h> #include <iostream> ...
dlib人脸检测和关关键点检测
11-02
在dlib实例基础上实现了人脸检测和人脸框图像的本地保存；批量读取文件并保存人脸关键点至txt和标签至文件。
Opencv项目实战：10 面部特征提取及添加滤镜.zip
08-23
- `68_face_features.py`：可能涉及68个面部关键点检测，这是一个更细致的面部特征定位任务，可以用于精准的面部表情识别或美颜应用。 4. **资源文件** - `2.jpg`和`1.png`：可能是测试用的图像文件，用于验证和...
毕业设计-基于opencv的安卓平台人脸活体检测眨眼检测项目-项目实战-项目源码-优质项目.zip
01-17
该项目是一个毕业设计，主要关注的是在安卓平台上实现基于OpenCV的人脸活体检测与眨眼检测功能。这个项目不仅包含了理论知识，还强调了实践应用，为开发者提供了完整的源码，以便于学习和参考。 首先，我们要理解...
人脸检测实战高级：使用 OpenCV、Python 和 dlib 完成眨眼检测
m0_61408947的博客
04-18 1013
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。一旦我们有了双眼的面部标志，我们就计算每只眼睛的眼睛纵横比，这给了我们一个奇异值，将垂直眼睛标志点之间的距离与水平标志点之间的距离联系起来。
python︱利用dlib和opencv实现简单换脸、人脸对齐、关键点定位与画图
素质云笔记
11-17 1万+
这是一个利用dlib进行关键点定位 + opencv处理的人脸对齐、换脸、关键点识别的小demo。原文来自于《Switching Eds: Face swapping with Python, dlib, and OpenCV》 该博文的github地址中有所有的code。这边我将我抽取的code放在自己的github之中，可以来这下载: https://github.com/mattzhen...
【Opencv】基于dlib的人脸关键点检测和闭眼检测
没有笔记本用了
10-13 2035
基于opencv的dlib人脸检测部署
detector = dlib.get_frontal_face_detector()获取人脸框的用法
weixin_44493841的博客
06-24 1万+
#功能：人脸检测画框 #参数：没有 #返回值：默认的人脸检测器
基于dlib的关键点检测
qq_20466233的博客
05-31 289
import cv2 import matplotlib.pyplot as plt import numpy as np import dlib image = cv2.imread(‘C:/Users/YOLO_V8/Desktop/test.JPG’) image = image[:, :, ::-1] images = image.astype(np.uint8) #若无该句会出现底色变化 deterctor = dlib.get_frontal_face_detector() predicto
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

胖墩会武术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值