三、提取人脸的面部嵌入(Python)(extract_embeddings.py)

最新推荐文章于 2024-04-12 10:53:39 发布
最新推荐文章于 2024-04-12 10:53:39 发布
阅读量1.8k 收藏 11
点赞数
分类专栏： # Python项目 文章标签： 人脸识别 Python 提取面部嵌入
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mahoon411/article/details/106183087
版权

1. 代码部分

此代码块为extract_embeddings.py内的代码

# USAGE
# python extract_embeddings.py --dataset dataset --embeddings output/embeddings.pickle
# \ --detector face_detection_model --embedding-model openface_nn4.small2.v1.t7

# 加载必要的包
from imutils import paths
import numpy as np
import imutils
import pickle
import cv2
import os

def extract_embeddings():
    ## 从磁盘加载序列化人脸检测器(serialized face detector)
    ## 使用OpenCV的基于Caffe的深度学习人脸检测器来定位图像中人脸。
    ## 用途：检测或定位人脸在图像中的位置
    print("[INFO] loading face detector...")
    # 用cv2.dnn.readNetFromCaffe来加载Caffe模型定义prototxt，以及预训练模型。
    protoPath = os.path.sep.join(['face_detection_model', "deploy.prototxt"])
    modelPath = os.path.sep.join(['face_detection_model',
    	"res10_300x300_ssd_iter_140000.caffemodel"])
    detector = cv2.dnn.readNetFromCaffe(protoPath, modelPath)
    
    ## 从磁盘加载序列化面部嵌入模型(serialized face embedding model)
    ## 使用OpenCV的基于Torch的深度学习面部嵌入模型来提取面部嵌入(face embedding)
    ## 用途：用于提取人脸的128维(128-D)面部嵌入
    print("[INFO] loading face recognizer...")
    embedder = cv2.dnn.readNetFromTorch(r'openface_nn4.small2.v1.t7')
    
    ## 获得输入人脸数据库的路径
    # imagePaths列表包含数据集中每个图像的路径。
    # 这个功能是通过imutils包中的函数paths.list_images实现的
    print("[INFO] quantifying faces...")
    imagePaths = list(paths.list_images(r'dataset'))
    
    ## 初始化提取的面部嵌入和相应的人名
    # 我们将把提取的面部嵌入和相应的人名保存在下述两个列表中
    knownEmbeddings = []
    knownNames = []
    
    ## 初始化我们成功处理的人脸的数量
    total = 0
    
    ## 在人脸数据库中循环，这个循环将从每个图像中找到的人脸上提取面部嵌入
    for (i, imagePath) in enumerate(imagePaths):
    	## 从图像路径(人脸数据库)中提取人名
    	print("[INFO] processing image {}/{}".format(i + 1,
    		len(imagePaths)))
        # 通过使用imagePath.split拆分字符
        # 该函数生成一个沿着目录树向下走的文件夹/文件名（字符串）列表
        # 我们获取倒数第二个索引，即人名
        # 示例：
        # >>> imagePaths = list(paths.list_images("dataset"))
        # >>> imagePath = imagePaths[0]
        # >>> imagePath
        # 'dataset/adrian/00004.jpg'
        # >>> imagePath.split(os.path.sep)
        # ['dataset', 'adrian', '00004.jpg']
        # >>> imagePath.split(os.path.sep)[-2]
        # 'adrian'
    	name = imagePath.split(os.path.sep)[-2]
        
        ## 加载图像，将其宽度调整为600像素(同时保持纵横比)，并读取图像尺寸
    	image = cv2.imread(imagePath)
    	image = imutils.resize(image, width=600)
        # 读取图像的尺寸
    	(h, w) = image.shape[:2]
    
        ## 应用OpenCV中的基于深度学习的人脸检测器来检测和定位输入图像中的人脸 
    	# 使用cv2.dnn.blobFromImag来对输入图像进行归一化，从而产生一个已知的blob形状。
        # 也即从图像来创建一个blob
        # 此处的知识点参考收藏：Deep learning: How OpenCV’s blobFromImage works
    	imageBlob = cv2.dnn.blobFromImage(
    		cv2.resize(image, (300, 300)), 1.0, (300, 300),
    		(104.0, 177.0, 123.0), swapRB=False, crop=False)
        # 将imageBlob传递到detector神经网络来检测图像中的面部
    	detector.setInput(imageBlob)
        # 以imageBlob为输入，在神经网络中完成一次正向传播，并将分类结果保存至detections
        # 注：我们不是在训练DNN，而是在使用预训练模型，
        #     因此只需要将blob从网络中传递过去，来获取结果，不需要反向传播。
        # detections列表包含图像中的人脸的概率和定位人脸的坐标
        # 注：一张照片可能检测出多张人脸，也就是说可能会有多个识别为人脸的边界框
    	detections = detector.forward()
        
        ## 确保即将处理的图像中包括人脸，如果不包括，则读取下一张图片
    	# 在图像中检测到了至少一个人脸才会进入if语句主体
    	if len(detections) > 0:
            # 本程序假设每个照片中只有一张人脸
            # 因此找到概率最大的边界框
            # 也就是说要提取最高置信度的人脸的面部嵌入
    		i = np.argmax(detections[0, 0, :, 2])
    		confidence = detections[0, 0, i, 2]
            
            ## 确保即将处理的图像中人脸的概率大于一个阈值
            # 设定过滤弱检测的最小概率阈值，若图像的置信度满足该阈值则进行面部嵌入的提取
    		if confidence > 0.5:
                
                ## 计算人脸边界框(the bounding box for the face)的(x,y)坐标
    			box = detections[0, 0, i, 3:7] * np.array([w, h, w, h])
    			(startX, startY, endX, endY) = box.astype("int")
    
    			## 提取人脸的感兴趣区域(ROI)并获取感兴趣区域(ROI)的维度(即ROI的宽度和高度)
    			face = image[startY:endY, startX:endX]
    			(fH, fW) = face.shape[:2]
    
    			## 确保提取到的人脸的感兴趣区域(ROI)足够的大
                ## 如果不满足设定值，则不进行后续处理，直接读取下一张图像
    			if fW < 20 or fH < 20:
    				continue
                
                ## 使用OpenCV的基于Torch的深度学习面部嵌入模型来提取面部嵌入
                ## 借此来获得描述人脸的128维(128-D)面部嵌入
                # 这次为人脸的感兴趣区域(ROI)构造一个blob
                # (不同于第73行代码，73行是为整个图像构造blob)
    			faceBlob = cv2.dnn.blobFromImage(face, 1.0 / 255,
    				(96, 96), (0, 0, 0), swapRB=True, crop=False)
                # 将faceBlob传递给面部嵌入模型卷积神经网络(embedder CNN)
    			embedder.setInput(faceBlob)
                # 在神经网络中完成一次正向传播，并将分类结果保存至vec
                # 获得描述人脸的128维(128-D)面部嵌入
                # 注：我们将把这些数据作为人脸识别模型的训练数据
    			vec = embedder.forward()
    
                ## 将人名和相应的面部嵌入添加到各自的列表中
    			knownNames.append(name)
    			knownEmbeddings.append(vec.flatten())
                # 成功处理的人脸数量的总数目加一
    			total += 1
                #之后便是继续循环图像，检测人脸，并为人脸数据集中的每个图像提取面部嵌入
    
    ## 循环结束后将面部嵌入和人名存储到磁盘中
    print("[INFO] serializing {} encodings...".format(total))
    # 将面部嵌入和人名添加到data字典中
    data = {"embeddings": knownEmbeddings, "names": knownNames}
    # 将字典写入embeddings.pickle文件中
    f = open(r'output/embeddings.pickle', "wb")
    f.write(pickle.dumps(data))
    f.close()

## 测试脚本用  
if __name__ == '__main__':
    extract_embeddings()

2. 函数结构说明

在这里插入图片描述

3. 程序流程图

在这里插入图片描述

4. 函数图解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. 使用说明

本函数需搭配视频流人脸识别系统一起使用。
视频流人脸识别系统的系统函数见此博客：一、视频流人脸识别系统的系统函数的构建(Python)
文中用到的deploy.prototxt、res10_300x300_ssd_iter_140000.caffemodel、openface_nn4.small2.v1.t7文件在此处下载：人脸识别集成包

吮指原味张
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
FaceNet: A Unified Embedding for Face Recognition and Clustering
chenaxin的博客
06-07 1139
论文地址：https://arxiv.org/abs/1503.03832
face-embeddings:面部嵌入的T-sne可视化
05-12
我们将看到如何使用dlib从图像中提取人脸嵌入并将其可视化。 在python笔记本中运行代码以生成嵌入。 #Run下面的命令以可视化tensboard。 将logdir路径替换为您的自定义路径 tensorboard --logdir = /用户/ anshu / meet-up / internship / recognition / face-embeddings / embeddings-logs / --port = 6006
人脸识别中的embedding
张*#的博客
03-06 2461
MINST为例，假设一个batch是256，那么输入的维度是（256，28，28，1），经过神经网络后输出embedding的维度是（256，2），这里的2是由于神经网络最后一层全连接层的维度是2。这里就相当于把输入的256张图片嵌入到一个二维平面中，如下图所示： 这里的维度也可以是3，意义为把图片嵌入到一个三维空间。如下图所示： ...
花了两个小时，用 Python 提取 PPT 图片~
最新发布
Trb201012的博客
04-12 1153
大家好，我是陈序不懂程序。人工智能时代，python 这门简单易学的编程语言变得更加热门。个人认为 Python 最大的优势在于类库生态丰富，很多工具都有现成的开源项目，比如 AI 工具、文件处理工具等。虽然我们未必有时间深入学习 Python，但还是要学习下如何运行这些开源项目，丰富自己的 “弹药库”。这篇文章分享一位 Java 开发者 - 勇哥（作者认为自己是 python 小白），花了两个小时，第一次成功运行起来 python 项目的经历。为大家提供入门参考。
【ICCV2019】probabilistic face embeddings 概率人脸嵌入， 对监控模糊低分辨人脸更具有适应性
m0_37192554的博客
04-14 839
【ICCV2019】probabilistic face embeddings 概率人脸嵌入 对监控模糊人脸更具有适应性，可以加 https://blog.csdn.net/leviopku/article/details/102796208
概率人脸嵌入（二）
blueblood7的专栏
08-11 454
论文：“Data Uncertainty Learning in Face Recognition” 文中使用分类和回归两种方法学习不确定性： 共同点是 在最后的卷积层后接两个嵌入（维度相同），一是均值mu，一是方差sigma（训练时使用方差的对数），即假设人脸特征是满足（mu、sigma）的高斯分布。 不同点在于： 1、基于分类的方法（DUL_CLS）： 使用（mu + xi * sigma）作为最后的特征表达（xi是服从标准正态分布，和特征同维的随机向量），后接分类的全连接层。损失是am-so
pretrained_word_embeddings.py例子
01-28
keras 官方例子，深度学习专用，机器学习专用，代码简单，
2_embeddings.bin
08-04
这是一个用来做词嵌入的以训练好的英文词向量。本人在做词性标注时所用到的。
bio_embeddings:从蛋白质序列中获取蛋白质嵌入
04-27
生物嵌入 ... 基于在生物学序列表示（SeqVec，ProtTrans，UniRep等）上训练的开放模型的通用python嵌入器 一条管道： 将序列嵌入矩阵表示（每个氨基酸）或矢量表示（每个序列）中，可用于训练学习模
Python库 | cf_text_embeddings-0.1.1.tar.gz
05-13
资源分类：Python库 所属语言：Python 资源全名：cf_text_embeddings-0.1.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
实施DeViSE：深度视觉语义嵌入模型_Python_下载.zip
04-07
它通常基于卷积神经网络（CNN）对图像进行预训练，提取视觉特征，然后将这些特征与词嵌入（word embeddings）相结合，形成一个统一的嵌入空间。这样，我们就可以比较和匹配图像与文本描述，例如在图像搜索或图像问答...
人脸识别集成包.zip
05-17
该集成包内包含的文件有：deploy.prototxt、res10_300x300_ssd_iter_140000.caffemodel、haarcascade_frontalface_default.xml、openface_nn4.small2.v1.t7。以及stop.gif、welcome.gif。均是人脸识别需要用到的文件。具体的操作教程见如下博客： 一、视频流人脸识别系统的系统函数的构建：https://blog.csdn.net/mahoon411/article/details/106182219 二、构建人脸识别数据库：https://blog.csdn.net/mahoon411/article/details/106182516 三、提取人脸的面部嵌入：https://blog.csdn.net/mahoon411/article/details/106183087 四、训练SVM分类器： https://blog.csdn.net/mahoon411/article/details/106183274 五、视频流人脸识别的实现：https://blog.csdn.net/mahoon411/article/details/106183362
【ICCV2019】probabilistic face embeddings 概率人脸嵌入
木盏
10-29 7196
概率人脸嵌入PFE：http://openaccess.thecvf.com/content_ICCV_2019/papers/Shi_Probabilistic_Face_Embeddings_ICCV_2019_paper.pdf 这篇博文主体为对PFE的精细翻译，附带本人加的一些注释。 摘要 通过比较隐语义空间的面部特征，嵌入方法已经在人脸识别领域取得了成功。然而，在完全无约束...
【论文笔记】—人脸识别—FaceNet—2015-CVPR
chaiky的博客
07-15 1093
题目：FaceNet: A Unified Embedding for Face Recognition and Clustering FaceNet用到了两个网络，分别是ZFNet和 GoogleNet（Inception V1）。FaceNet是直接利用triplet loss训练模型（输入图像，输出欧式空间中的）128维的特征向量，triplets是由来自于一人的两张人脸图像和来自于另一个人的第三张图像组成，训练的目的是来自于同一人的人脸对之间的欧式距离要远小于来自于不同人的人脸对之间的欧氏距离。 .
人脸识别(Face Recognition)简要综述
Konata的博客
03-28 1万+
文章目录人脸识别在计算机视觉中的位置早期方法Face Recognition with Local Binary Patterns(【ECCV 2004】)LBP的feature map计算方法:除此以外LBP算子还有改进版本:LBP的特点从LBP的得到的“图片”到“向量”数据集一些较新的文章FaceNet(【CVPR 2015】)Finding Tiny Faces with GAN(【CVPR 2018】)Masked Face Recgonition with latent part(【ACM
openface源码解释（2.1）
qq_34708977的博客
12-16 498
nn4.small2.v1.t7 <!--models/openface/nn4.small2.def.lua--> 代码中的注释 Model: nn4.small2.def.lua 描述：FaceNet的NN4网络去掉了4b、4c和4d层，更小的5层。 Input size: 3x96x96 来自网络的参数数量：getParameters() with embSize=128: 3733968 组件: 主要是‘nn' 设备：CPU和CUDA FaceNet的论文只说了“规范”
OpenCV人脸识别
热门推荐
W_Tortoise的博客
12-21 2万+
Introduction 在本教程中，您将学习如何使用OpenCV来执行人脸识别。为了构建我们的人脸识别系统，我们首先进行人脸检测，使用深度学习从每个人脸提取面部嵌入，在嵌入上训练人脸识别模型，然后最终使用OpenCV识别图像和视频流中的人脸。 今天的教程也是我未婚妻Trisha（现在正式为我的妻子）的特别礼物。我们的婚礼是在周末，当你正在阅读这篇博文时，我们将在机场准备搭乘我们的航班度蜜月。 ...
Image Embedding(图片嵌入）
VIEO
04-18 8339
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 深度学习中Embedding层有什么用？（科学上网才能看到图片） 图片嵌入 一 特征嵌入，将数据转换（降维）为固定大小的特征表示（矢量），...
def forward(self): # h是物品id嵌入的权重 h = self.item_id_embedding.weight # 将两个张量（tensor）按指定维度拼接在一起 # 按行把两个嵌入权重拼接到一起 ego_embeddings = torch.cat((self.user_embedding.weight, self.item_id_embedding.weight), dim=0) # 将其变成list all_embeddings = [ego_embeddings] for i in range(self.n_layers): # self.norm_adj拉普拉斯矩阵,返回的是稀疏张量:坐标,值,size # L*W ego_embeddings = torch.sparse.mm(self.norm_adj, ego_embeddings) # all_embeddings是所有层的嵌入 all_embeddings += [ego_embeddings] # outputs = torch.stack(inputs, dim=?) → Tensor # 沿着一个新的维度对all_embeddings进行连接,inputs : 待连接的张量序列,python的序列数据只有list和tuple all_embeddings = torch.stack(all_embeddings, dim=1) all_embeddings = all_embeddings.mean(dim=1, keepdim=False) u_g_embeddings, i_g_embeddings = torch.split(all_embeddings, [self.n_users, self.n_items], dim=0) return u_g_embeddings, i_g_embeddings + h解释每一句话的含义
06-06
这段代码是用来实现图卷积网络（Graph Convolutional Networks，GCN）的前向传播（forward）过程的。 具体来说，它首先定义了一个物品（item）的id嵌入权重 h，然后将用户（user）和物品的id嵌入权重按行拼接在一起，得到一个矩阵 ego_embeddings。接下来，它通过多层图卷积网络对 ego_embeddings 进行迭代，得到每一层的嵌入 all_embeddings，并将所有层的嵌入沿着新的维度进行连接，得到一个三维张量 all_embeddings。再对 all_embeddings 进行平均池化，得到一个二维张量，其中每一行对应一个用户或一个物品的嵌入向量。最后，它将 all_embeddings 按行分割成用户嵌入向量和物品嵌入向量，并将物品嵌入向量加上 h，最终返回用户嵌入向量和物品嵌入向量。 其中，self.user_embedding 是用户id的嵌入权重，self.item_id_embedding 是物品id的嵌入权重，self.n_layers 是图卷积网络的层数，self.norm_adj 是规范化的拉普拉斯矩阵。torch.sparse.mm 是稀疏矩阵相乘的函数，torch.stack 是张量拼接的函数，torch.split 是按维度分割张量的函数，torch.mean 是张量平均池化的函数，"+" 是张量加法的运算符。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吮指原味张

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值