使用dlib的人脸特征点和掩码提取实例

最新推荐文章于 2024-01-05 14:32:52 发布
最新推荐文章于 2024-01-05 14:32:52 发布
阅读量1.2k 收藏 4
点赞数
文章标签： python 计算机视觉 opencv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjjjj11/article/details/125821594
版权

文章目录

功能设计：

实现PIL格式对人脸图像的读入，将PIL图像转换为cv2格式后使用dlib对图像进行特征点提取和局部区域颜色填充，得到掩码图像（图1），再对掩码图像和生成的PIL格式的随机噪声图像进行相乘，得到图2，将图2与人脸图像相加得到添加扰动后人脸图像图3

图1
在这里插入图片描述
图2
在这里插入图片描述
图3
在这里插入图片描述

程序设计：

1、加载库

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import cv2
import dlib
import faceblendCommon as face
import numpy as np
import os
import json

import PIL
from PIL import Image
from PIL.ImageChops import add, subtract, multiply
from torchvision import datasets, transforms

2、设计归一化模块

将PIL格式图像转化为Tensor格式，同时进行归一化处理

transform = transforms.Compose([
    transforms.ToTensor(),
    # ToTensor把一个PIL Image或numpy.ndarray (H x W x C)（注意C(channel)的位置）从[0, 255]转变为
    # 一个torch.FloatTensor大小为(C x H x W)，并且把像素归一化为[0.0, 1.0]
    transforms.Normalize(mean=[0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225]) # 使用ImageNet的均值与标准差
])

3、产生随机噪声的函数

def random_noise(nc, width, height):
    '''
    Generator a random noise image from tensor.

    If nc is 1, the Grayscale image will be created.
    If nc is 3, the RGB image will be generated.

    Args:
        nc (int): (1 or 3) number of channels.
        width (int): width of output image.
        height (int): height of output image.
    Returns:
        PIL Image.
    '''
    img = torch.rand(nc, width, height)
    img = transforms.ToPILImage()(img)
    return img

4、计算余弦相似度模块

class CosineSimilarity(nn.Module):
    r"""Returns cosine similarity between :math:`x_1` and :math:`x_2`, computed along dim.
    .. math ::
        \text{similarity} = \dfrac{x_1 \cdot x_2}{\max(\Vert x_1 \Vert _2 \cdot \Vert x_2 \Vert _2, \epsilon)}.
    Args:
        dim (int, optional): Dimension where cosine similarity is computed. Default: 1
        eps (float, optional): Small value to avoid division by zero.
            Default: 1e-8
    Shape:
        - Input1: :math:`(\ast_1, D, \ast_2)` where D is at position `dim`
        - Input2: :math:`(\ast_1, D, \ast_2)`, same shape as the Input1
        - Output: :math:`(\ast_1, \ast_2)`
    Examples::
        >>> input1 = torch.randn(100, 128)
        >>> input2 = torch.randn(100, 128)
        >>> cos = nn.CosineSimilarity(dim=1, eps=1e-6)
        >>> output = cos(input1, input2)
    """
    __constants__ = ['dim', 'eps']

    def __init__(self, dim=1, eps=1e-8):
        super(CosineSimilarity, self).__init__()
        self.dim = dim
        self.eps = eps

    def forward(self, x1, x2):
        return F.cosine_similarity(x1, x2, self.dim, self.eps)

5、导入图片

pic1.jpg和pic2.jpg都是人脸图像，其中 pic是目标图像，
分别设置成PIL、Tensor、cv2格式

im1 = Image.open('TestImage/pic1.jpg')
im2 = Image.open('TestImage/pic2.jpg')


img_PIL_tensor1 = transform(im1)
img_PIL_tensor2 = transform(im2)


img1 = cv2.cvtColor(np.asarray(im1),cv2.COLOR_RGB2BGR)
img2 = cv2.cvtColor(np.asarray(im2),cv2.COLOR_RGB2BGR)

6、设置检测器

# 正向人脸检测器    detector是使用卷积神经网络（CNN）进行人脸检测的检测算子，返回的是所有的检测到的人脸区域
detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
# 加载特征点提取模型
predictor_path = 'shape_predictor_68_face_landmarks.dat'
predictor = dlib.shape_predictor(predictor_path)
# 加载面部识别模型
face_rec_model_path = 'dlib_face_recognition_resnet_model_v1.dat'
facerec = dlib.face_recognition_model_v1(face_rec_model_path)

7、得到人脸关键点

PREDICTOR_PATH = r"shape_predictor_68_face_landmarks.dat"
faceDetector = dlib.get_frontal_face_detector()
landmarkDetector = dlib.shape_predictor(PREDICTOR_PATH)
landmarks = face.getLandmarks(faceDetector, landmarkDetector, img1)

8、为眼部区域制作掩码

eyesPoints = landmarks[16:28]
mask = np.zeros((img1.shape[0], img1.shape[1], 3), dtype=np.float32)

cv2.fillConvexPoly(mask, np.int32(eyesPoints), (255, 255, 255))   

path = 'TestImage\\mask.jpg'  # use r here as in windows sometimes there is a Unicode problem
cv2.imwrite(path, mask)  # use path here

得到的mask.jpg
在这里插入图片描述

9、生成随机噪声

random_noise(3, 112, 112).save('TestImage\\random-noise.jpg')
im5 = Image.open('TestImage/random-noise.jpg')
img_PIL_tensor5 = transform(im5)

得到的random-noise.jpg
在这里插入图片描述

10、将随机噪声和掩码相乘

im6 = multiply(im4,im5)
im6.save('TestImage\\ultimate_mask.jpg')

得到的ultimate_mask.jpg
在这里插入图片描述

11、得到添加扰动后的人脸

img1 = ultimatemask + img1
path = 'TestImage\\result1.jpg'  
cv2.imwrite(path, img1)  # use path here

得到的result1.jpg：
在这里插入图片描述

完整代码

# 加载库
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import cv2
import dlib
import faceblendCommon as face
import numpy as np
import os
import json

import PIL
from PIL import Image
from PIL.ImageChops import add, subtract, multiply
from torchvision import datasets, transforms

transform = transforms.Compose([
    transforms.ToTensor(),
    # ToTensor把一个PIL Image或numpy.ndarray (H x W x C)（注意C(channel)的位置）从[0, 255]转变为
    # 一个torch.FloatTensor大小为(C x H x W)，并且把像素归一化为[0.0, 1.0]
    transforms.Normalize(mean=[0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225]) # 使用ImageNet的均值与标准差
])


def random_noise(nc, width, height):
    '''Generator a random noise image from tensor.

    If nc is 1, the Grayscale image will be created.
    If nc is 3, the RGB image will be generated.

    Args:
        nc (int): (1 or 3) number of channels.
        width (int): width of output image.
        height (int): height of output image.
    Returns:
        PIL Image.
    '''
    img = torch.rand(nc, width, height)
    img = transforms.ToPILImage()(img)
    return img


class CosineSimilarity(nn.Module):
    r"""Returns cosine similarity between :math:`x_1` and :math:`x_2`, computed along dim.
    .. math ::
        \text{similarity} = \dfrac{x_1 \cdot x_2}{\max(\Vert x_1 \Vert _2 \cdot \Vert x_2 \Vert _2, \epsilon)}.
    Args:
        dim (int, optional): Dimension where cosine similarity is computed. Default: 1
        eps (float, optional): Small value to avoid division by zero.
            Default: 1e-8
    Shape:
        - Input1: :math:`(\ast_1, D, \ast_2)` where D is at position `dim`
        - Input2: :math:`(\ast_1, D, \ast_2)`, same shape as the Input1
        - Output: :math:`(\ast_1, \ast_2)`
    Examples::
        >>> input1 = torch.randn(100, 128)
        >>> input2 = torch.randn(100, 128)
        >>> cos = nn.CosineSimilarity(dim=1, eps=1e-6)
        >>> output = cos(input1, input2)
    """
    __constants__ = ['dim', 'eps']

    def __init__(self, dim=1, eps=1e-8):
        super(CosineSimilarity, self).__init__()
        self.dim = dim
        self.eps = eps

    def forward(self, x1, x2):
        return F.cosine_similarity(x1, x2, self.dim, self.eps)



im1 = Image.open('TestImage/pic1.jpg')
im2 = Image.open('TestImage/pic2.jpg')


img_PIL_tensor1 = transform(im1)
img_PIL_tensor2 = transform(im2)


img1 = cv2.cvtColor(np.asarray(im1),cv2.COLOR_RGB2BGR)
img2 = cv2.cvtColor(np.asarray(im2),cv2.COLOR_RGB2BGR)



# 正向人脸检测器    detector是使用卷积神经网络（CNN）进行人脸检测的检测算子，返回的是所有的检测到的人脸区域
detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
# 加载特征点提取模型
predictor_path = 'shape_predictor_68_face_landmarks.dat'
predictor = dlib.shape_predictor(predictor_path)
# 加载面部识别模型
face_rec_model_path = 'dlib_face_recognition_resnet_model_v1.dat'
facerec = dlib.face_recognition_model_v1(face_rec_model_path)


# 做出掩码
PREDICTOR_PATH = r"shape_predictor_68_face_landmarks.dat"
faceDetector = dlib.get_frontal_face_detector()
landmarkDetector = dlib.shape_predictor(PREDICTOR_PATH)
landmarks = face.getLandmarks(faceDetector, landmarkDetector, img1)

# 为眼部制作一个掩码
eyesPoints = landmarks[16:28]
mask = np.zeros((img1.shape[0], img1.shape[1], 3), dtype=np.float32)

cv2.fillConvexPoly(mask, np.int32(eyesPoints), (255, 255, 255))

path = 'TestImage\\mask.jpg'  # use r here as in windows sometimes there is a Unicode problem
cv2.imwrite(path, mask)  # use path here
im4 = Image.open('TestImage/mask.jpg')
img_PIL_tensor4 = transform(im4)

random_noise(3, 112, 112).save('TestImage\\random-noise.jpg')
im5 = Image.open('TestImage/random-noise.jpg')
img_PIL_tensor5 = transform(im5)


im6 = multiply(im4,im5)
im6.save('TestImage\\ultimate_mask.jpg')

# res = img_PIL_tensor3 * img_PIL_tensor5
# res = torch.mul(img_PIL_tensor5,img_PIL_tensor4)
# ultimate_mask = transforms.ToPILImage()(res)
# ultimate_mask.save('TestImage\\ultimate-mask.jpg')
ultimatemask = cv2.cvtColor(np.asarray(im6),cv2.COLOR_RGB2BGR)

img1 = ultimatemask + img1
path = 'TestImage\\result1.jpg'  # use r here as in windows sometimes there is a Unicode problem
cv2.imwrite(path, img1)  # use path here
yjjjj11
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
dlib实现人脸特征向量的提取
reset2021的博客
07-30 3317
目前比较常见的都是对人脸进行验证与识别。 本文讲述一种基于人脸特征的人脸分类。通过对目标人物的人脸进行特征提取（采用dlib库中的方法），并将提取的
c++ dlib实现人脸68个特征点识别
05-24
c++ dlib实现对视频中的人脸特征点识别，并画出68个特征点。如果需要对dlib源码调试。在这下载：https://download.csdn.net/download/weixin_42713739/11195723
Dlib 人脸特征点识别训练文件 完整版
08-29
Dlib 人脸特征点识别训练文件 完整版 68个特征点识别追踪
Dlib 人脸特征点识别训练文件-76特征点
07-10
Dlib 人脸特征点识别训练文件 76个特征点，只有72m，比网上公布68点的100m的文件小，移动应用可用。
dlib：提取视频及图片68个人脸关键点
05-06
为了方便已将需要下载的shape-predictor-68-face-landmarks.dat与案例打包。 提示：需要提前下载dlib与opencv等的包。
Dlib 人脸特征点识别训练文件 精简版
08-29
Dlib 人脸特征点识别训练文件 精简版 自行训练的，比网上公布的100m的文件精简，但是准确度有所下降，有需求也可自行训练
特征选择性掩码(selection mask)
斯人若彩虹，遇上方知有！
10-02 1374
通过使用掩码提取CNN的某一层的特征，具体效果看下图 1、sift_mask 代码实现： function mask = sift_mask(f,Hf,Wf,H,W) % Hf和Wf是图像特征描述符的宽度和高度 % f是sift的特征描述符，这里使用sift进行提取 x_ratio = H/Hf; y_ratio = W/Wf; % 四舍五入 f(1,:) = round(f(1,:)/y_ratio); f(2,:) = round(f(2,:)/x_ratio); mask = ..
用Dlib进行简单的人脸特征提取特征向量到CSV文件中，用KNN进行预测识别
ganwanshuijiao
12-22 1761
Dlib+KNN进行简单人脸识别
【掩码机制】解决LSTM中特征长度不一致问题
peishuti6791的博客
04-15 4499
在训练Lstm模型的时候可能会遇到这样的一个问题：特征的长度是不一样的，有的特征长度长，有的特征短，这可能会对我们训练模型造成困扰，本次分享如何解决这一问题： 如题所示，使用的正是 Mask 机制，所谓 Mask 机制就是我们在使用不等长特征的时候先将其补齐，在训练模型的时候再将这些参与补齐的数去掉，从而实现不等长特征的训练问题。 补齐的话使用 sequence 中的方法: from keras_preprocessing import sequence MaxLen=15 x = [[1], [2,5],
【人脸识别】FROM：提升遮挡状态下的人脸识别效果
Roaddd的博客
02-26 2066
FROM：提升遮挡状态下的人脸识别效果
dlib人脸检测和关关键点检测
11-02
在dlib实例基础上实现了人脸检测和人脸框图像的本地保存；批量读取文件并保存人脸关键点至txt和标签至文件。
计算机视觉：使用dlib实现人脸检测
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-29 2149
Dlib库在人脸检测领域的应用是其最引人注目的功能之一。它提供了一套强大的人脸检测和识别工具，使得从复杂背景中准确地检测和识别人脸成为可能。
什么是图像中的掩膜(Mask)，如何使用掩码
Turn life into a dream, and then turn dreams into reality
12-26 7369
图像中的掩膜(Mask)是什么_bitcarmanlee的博客-CSDN博客_掩膜
opencv图像处理学习（二十三）——掩码
图像学习之旅
04-01 4206
图像的掩码操作是指通过掩码核算子重新计算图像中各个像素的值，掩码核算子刻画邻域像素点对新像素值的影响程度，同时根据掩码算子中权重因子对原像素点进行加权平均。图像掩码操作常用于图像平滑、边缘检测及特征分析等领域，opencv中常用的计算图像掩码的操作有下面两种。 <1>基于像素邻域遍历 对于源图像数据f（x，y），卷积核算子为3x3，计算源图像数据4邻域均值掩码可通过下式来完成。 ...
人工智能-Dlib+Python实现人脸识别（人脸检测以及68点特征提取）
人工智能研究所的博客
07-26 696
是一个现代的C ++工具包，包含机器学习算法和工具，用于在C ++中创建复杂的软件来解决实际问题。它广泛应用于工业界和学术界，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。Dlib的开源许可 允许您在任何应用程序中免费使用它Dlib可以使用pip install来安装或者到官网下载dlib-19.8.1-cp36-cp36m-win_amd64.whl来安装（到官网下载最新的whl）whl文件的安装，需要cmd进入终端目录下，使用pip install。
基于dlib库人脸特征提取【构建自己的人脸识别数据集】
热门推荐
cungudafa的博客
06-23 1万+
一、安装dlib库 ps.这个步骤不能pip直接安装，需要先下载boosting和cmake搭建环境，再解压安装获得dlib库文件，最后复制关键文件到python安装目录下！ 需要下载的文件： 具体安装教程：python3.7添加dlib模块——需要耐心安装 注意： b2 -a –with-python address-model=64 toolset=msvc runtime-link=st...
图像拼接——特征掩码的作用
最新发布
Jurio的博客
01-05 464
特征掩码在图像拼接中起着重要作用，它用于限制特征匹配的区域，以提高匹配的准确性和鲁棒性。特征掩码可以用于约束特征匹配的搜索范围。通过将掩码应用于特征点检测或特征描述子匹配的过程中，可以限制匹配算法只在有效区域内进行搜索。这样可以减少计算开销，提高匹配速度，并且减少错误匹配的可能性。
dlib 人脸识别原理详细讲解
babyai996的博客
06-27 3650
dlib 的人脸检测算法使用的是基于 HOG 特征和级联分类器的方法。级联分类器是一种多层分类器，每一层都是一个弱分类器，通过级联的方式可以得到一个强分类器。dlib 的人脸检测算法使用了一个 5 层的级联分类器，可以在不同尺度的图像中检测出人脸。dlib 的人脸特征提取算法使用的是基于深度学习的方法。具体来说，它使用了一个 29 层的卷积神经网络，可以将人脸图像转换为一个 128 维的向量，这个向量被称为人脸特征向量。总的来说，dlib 的人脸识别算法是一种基于深度学习的方法，具有较高的准确率和鲁棒性。
dlib实现人脸识别+活体检测
C_say_easy_to_me的博客
12-19 2691
基本原理：计算眼睛长宽比 Eye Aspect Ratio，EAR.当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零，当时人脸检测模型还没有这么精确。该模型能够检测人脸的68个特征点（facial landmarks），定位图像中的眼睛，眉毛，鼻子，嘴巴，下颌线（ROI，Region of Interest）检测原理：类似眨眼检测，计算Mouth Aspect Ratio,MAR.当MAR大于设定的阈值时，认为张开了嘴巴。上嘴唇内边缘[66,68]左眼眉毛[18,22]
通过dlib人脸关键点实现嘴巴和眼睛实例分割的代码
06-01
# 使用dlib检测人脸，并提取关键点 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) rects = detector(gray, 1) for (i, rect) in enumerate(rects): shape = predictor(gray, rect) shape = np.array([[p.x, p.y...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值