人脸识别常用数据集和Loss

最新推荐文章于 2024-08-06 15:06:07 发布
最新推荐文章于 2024-08-06 15:06:07 发布
阅读量1.8k 收藏 6
点赞数 1
分类专栏： 人脸识别 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37531129/article/details/107361909
版权

人脸识别数据集

数据集的noise对训练效果的影响很大！很长一段时间MegaFace的效果都上不去，就是因为数据集噪声的原因。而且自己在训练人脸的时候，如果不对数据集的噪声和属性有一点了解，对训练结果可能会有误判，甚至越训练越差…在选择数据集的时候不要一味求大，有的时候选择一个noise比例极高的大数据集，效果还不如选择一个clean的小数据集呢，可以参见这篇论文The Devil of Face Recognition is in the Noise

LFW

全名是Labeled Faces in the Wild.这个数据集是人脸评估一定会用到的一个数据集，包含了来自1680的13000张人脸图，数据是从网上搜索来的。基本都是正脸。这个数据集也是最简单的，基本主流算法都能跑到99%以上，貌似有6对label错了，所以最高正确率应该是99.9%左右。这个都跑不到99%的话别的数据集表现效果会更差。一般来说这个数据集是用来做人脸识别验证的。

CelebFaces

总共包含10177个人的202599张图片，也是从搜索引擎上爬过来的,噪声不算多，适合作为训练集。同时这个数据对人脸有一些二元标签，比如是否微笑，是否戴帽子等。如果需要特定属性的人脸，也可以从中获取。
40个属性如下（引用自芯尚刃：CelebA数据集详细介绍及其属性提取源代码 ）：
5_o_Clock_Shadow：刚长出的双颊胡须，Arched_Eyebrows：柳叶眉， Attractive：吸引人的， Bags_Under_Eyes：眼袋， Bald：秃头，Bangs：刘海，Big_Lips：大嘴唇，Big_Nose：大鼻子，Black_Hair：黑发，Blond_Hair：金发，Blurry：模糊的，Brown_Hair：棕发，Bushy_Eyebrows：浓眉，Chubby：圆胖的，Double_Chin：双下巴，Eyeglasses：眼镜，Goatee：山羊胡子，Gray_Hair：灰发或白发，Heavy_Makeup：浓妆，High_Cheekbones：高颧骨，Male：男性，Mouth_Slightly_Open：微微张开嘴巴，Mustache：胡子，髭，Narrow_Eyes：细长的眼睛，No_Beard：无胡子，Oval_Face：椭圆形的脸，Pale_Skin：苍白的皮肤，Pointy_Nose：尖鼻子，Receding_Hairline：发际线后移，Rosy_Cheeks：红润的双颊，Sideburns：连鬓胡子，Smiling：微笑，Straight_Hair：直发，Wavy_Hair：卷发，Wearing_Earrings：戴着耳环，Wearing_Hat：戴着帽子，Wearing_Lipstick：涂了唇膏，Wearing_Necklace：戴着项链，Wearing_Necktie：戴着领带，Young：年轻人
这些标签的属性在下载文件中的list_attr_celeba.txt中,在使用的时候，由于它不每一列都分开的，而是所有属性按一列来读取，所以在使用的时候，注意使用line.split()进行切分。（不是line.split(" "）,因为每个属性不全都是按一个空格隔开的，有的时候是用两个空格隔开的）

CFP

这个数据集由500个identity的约共7000张图片组成，这个数据集的特别之处在于对于每个人，它有10张正面图像和4张侧面图像，这对于想要做侧脸识别的同学还是很有帮助的。

VGG-Face

来自2622个人的2百万张图片。每个人大概要2000+图片，跟MS-Celeb-1M有很多重叠的地方（因为都是从搜索引擎来的），这个数据集经常作为训练模型的数据，噪声比较小，相对来说能训练出比较好的结果.

CASIA-WebFace

该数据集是从IMBb网站上搜集来的，含10K个人的500K张图片。同时做了相似度聚类来去掉一部分噪声。CAISA-WebFace的数据集源和IMDb-Face是一样的，不过因为数据清洗的原因，会比IMDb-Face少一些图片。噪声不算特别多，适合作为训练数据。(1万人)

MS-Celeb-1M

100K人的共100M图片，来自搜索引擎。这个数据集非常大，没有清洗过，噪声很大，很难。用未经过清洗的MS-Celeb-1M训练google facenet和Insightface的accuracy都比较低。(10万人)
（然而没有被请洗过的MS1M数据集噪声太大，所以其实更推荐使用iBUG清洗过的数据集（以下链接来自insightface团队）ms1m）

MegaFace

672K人的4.7M张图片，做过一些清洗，不过依然有噪声，不同人的图片可能混到了一起。相比来说噪声可能比MS-Celeb-1M小一点，但还是挺大的…这个数据集是由两个数据集组合而来：Facescrub和FGNet，所以如果你要使用多个数据集，注意有没有重合哦！

各个数据集的scale和噪声比例见下图（来自论文the devil of face recognition is in the Noise）。这篇论文也有提到清洗数据的噪声能够有效提升训练表现，所以大家自己在做人脸相关的检测时也要心中有数，除了可以优化算法，优化数据集也是一种方向。

CPLFW

cross pose LFW
在这里插入图片描述

CALFW

cross age LFW
在这里插入图片描述
在这里插入图片描述

人脸识别的LOSS 函数

请参考这个知乎写的挺好的 https://zhuanlan.zhihu.com/p/101059838

参考： 人脸识别常用数据集

JL_Jessie
关注
专栏目录
人脸属性识别 - 使用多任务学习模型在CelebA数据集上进行人脸属性识别任务
sybh的博客
04-26 878
人脸属性识别是计算机视觉领域的一个重要应用，它可以用于人脸检测、人脸识别、表情识别等多个领域。本文将介绍如何使用多任务学习模型在CelebA数据集上进行人脸属性识别任务。我们将使用Python编写代码，并使用PyTorch框架搭建我们的模型。CelebA（CelebFaces Attributes）数据集是一个包含20万张名人人脸图像的数据集，每张图像都附带了40种属性标签。我们将使用这些标签作为训练和评估模型的依据。本文介绍了如何使用多任务学习模型在CelebA数据集上进行人脸属性识别任务。
insightface搭建+测试+代码编写
DreamWeaver_Zhou
04-24 733
环境搭建 本教程的人脸识别是使用的是insightface库进行开发的，该库使用的框架为ONNX，使用的是Anaconda环境。 2.
【人脸识别】数据集宝藏合集，速看！
最新发布
Kyzy_1919的博客
08-06 1217
数据库中的许多图像包含不止一张带注释的人脸（293 张带有 1 张人脸的图像，53 张带有 2 张人脸的图像和 53 张带有 [3, 7] 人脸的图像）。该数据集是视听的，因此对于许多其他应用也很有用，例如 - 视觉语音合成、语音分离、从人脸到语音的跨模态转换（反之亦然）以及从视频中训练人脸识别以补充现有的人脸识别数据集。除了地标标注外，新的数据集还包括丰富的属性标注，即遮挡、姿势、化妆、照明、模糊和表达，用于对现有算法的综合分析。这些图像涵盖了姿势、面部表情、照明、遮挡、分辨率等方面的巨大变化。
人脸识别之insightface开源代码使用——自定义数据集制作
zero的博客
11-20 4885
人脸识别简介 简单来讲，人脸识别这个问题，就是给定两个人脸，然后判定他们是不是同一个人，这是它最原始的定义。它有很多应用场景，比如银行柜台、海关、手机解锁、酒店入住、网吧认证，会查身份证跟你是不是同一个人。 关于人脸识别的内容，网上资料很多，这里推荐一篇综述，详细介绍了一些人脸识别的背景和目前的相关研究，以及常用的人脸识别模型： http://www.elecfans.com/d/709424.h...
人脸识别5- insight-face-paddle-以及insightface代码实战笔记
qq_15821487的博客
07-04 2854
源码编译后会生成安装包whl,用setuptool操作，源码编译利于定制相应的依赖包，这个本质上就是github开源的rep，然后打包成了whl NumPy(Numerical Python) 是 Python 语言的一个扩展程序库 一个强大的N维数组对象 ndarray 广播功能函数 整合 C/C++/Fortran 代码的工具 线性代数、傅里叶变换、随机数生成等功能 官方文档：https://numpy.org/ numpy高级索引：https://www.runoob.com/numpy/numpy-
人脸对比的loss
bianlongpeng的博客
01-27 452
感谢我的同事@徐桦所作的工作 一、主要类型 1.1 pairwise系列 早期的人脸识别的loss主要是以contrastive loss 和tripletloss为主，但随着数据集的增大，需要复杂的数据对构造策略，否则搜索空间是O(N2{O(N^2}O(N2)和O(N3){O(N^3)}O(N3)，效果明显不如softmax系列 1.2 Softmax系列 softmax with loss Ls=−1m∑i=1mlogeWyiTfi+byi∑j=1neWjTfi+bjL_s=-\frac{1}{m}
基于残差网络和多模Triplet Loss的素描人脸识别.pdf
09-23
3. 素描人脸识别（Sketch Face Recognition）：素描人脸识别是指根据给定的素描图像，从一个巨大的数据集匹配人脸照片。该技术在罪犯案件侦破中有着广泛的应用。 4. 深度学习（Deep Learning）：深度学习是一种机器...
基于TensorFlow人脸识别源代码
06-01
8. **数据集与评估**：常用的公开人脸识别数据集有CelebA、LFW（Labeled Faces in the Wild）和VGGFace2等。评估指标包括准确率、验证率、F1分数和ROC曲线。 9. **推理与部署**：训练完成后，模型需要在实际场景中...
人脸识别.zip
07-17
1. 数据集准备：可能包含常用的人脸数据集，如CelebA或VGGFace2，用于训练和验证模型。 2. 图像预处理：包括人脸检测（通过MTCNN）、图像归一化、裁剪和尺度转换等，以便输入到FACENET模型。 3. 模型构建：构建...
最新人脸识别技术实现的人脸识别系统
03-23
"TestFace"这个文件可能包含了实现上述功能的代码、模型权重、测试数据集和相关的文档资料。部署这样的系统通常需要一个强大的计算平台，因为深度学习模型的训练和推理都需要大量的计算资源。 在实际应用中，人脸...
人脸识别-如何训练tripletloss
Iriving_shu的博客
01-01 3392
简介本篇论文来自猎户星空这家公司 论文地址https://arxiv.org/abs/1709.02940 tripletloss 来自google发表在cvpr2015上的《A Unified Embedding for Face Recognition and Clustering 》。在lfw上acc为99.63%。因此很多都想复现其效果。但据我了解到目前公开出来训练tripletloss
CelebA人脸库
02-18
CelebA库，可以用于人脸检测、人脸识别的训练、测试库。
人脸识别之insightface使用自己的数据集制作训练文件以及详细说明
12-22
# 数据处理： 1、使用facenet中的文件或insight项目中的align_dataset_mtcnn.py将原始人脸数据先检测并处理成112x112大小， 2、制作训练集.rec文件 # python insightface/recognition/tools/im2rec.py --list --recursive /准备存放.lst的路径/准备存放.lst文件的名称（NBA） /图像文件夹路径/ #生成.lst # python im2rec2.py /刚刚生成的.lst文件路径/.lst的文件名 /图像文件夹路径/ ##生成.rec
insightface训练说明.zip
08-01
ArcFace/InsightFace使用自己数据训练/验证过程，训练自己的数据需要制作几个所需的文件，官方没有详细说明，而且还需要对部分代码进行修改，也有好多需要自己写，才能使用自定义的数据集进行训练和测试。博客地址https://blog.csdn.net/qq_39707285/article/details/98068436中有详细介绍训练/验证过程。 修复图片过多在制作bin文件时可能出现MemoryError的BUG，分别替换src/eval文件夹下的flw_m.py和src/data文件夹下的lfw2pack_m.py，附件见链接: https://pan.baidu.com/s/1LBNYaSFEJ3WSVBkU5VdFDA 提取码: mgsd
人脸识别代码
03-20
----------------- # DFace • [![License](http://pic.dface.io/apache2.svg)](https://opensource.org/licenses/Apache-2.0) | **`Linux CPU`** | **`Linux GPU`** | **`Mac OS CPU`** | **`Windows CPU`** | |-----------------|---------------------|------------------|-------------------| | [![Build Status](http://pic.dface.io/pass.svg)](http://pic.dface.io/pass.svg) | [![Build Status](http://pic.dface.io/pass.svg)](http://pic.dface.io/pass.svg) | [![Build Status](http://pic.dface.io/pass.svg)](http://pic.dface.io/pass.svg) | [![Build Status](http://pic.dface.io/pass.svg)](http://pic.dface.io/pass.svg) | **基于多任务卷积网络(MTCNN)和Center-Loss的多人实时人脸检测和人脸识别系统。** [Github项目地址](https://github.com/kuaikuaikim/DFace) [Slack 聊天组](https://dfaceio.slack.com/) **DFace** 是个开源的深度学习人脸检测和人脸识别系统。所有功能都采用　**[pytorch](https://github.com/pytorch/pytorch)**　框架开发。pytorch是一个由facebook开发的深度学习框架，它包含了一些比较有趣的高级特性，例如自动求导，动态构图等。DFace天然的继承了这些优点，使得它的训练过程可以更加简单方便，并且实现的代码可以更加清晰易懂。 DFace可以利用CUDA来支持GPU加速模式。我们建议尝试linux GPU这种模式，它几乎可以实现实时的效果。 所有的灵感都来源于学术界最近的一些研究成果，例如　[Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks](https://arxiv.org/abs/1604.02878) 和 [FaceNet: A Unified Embedding for Face Recognition and Clustering](https://arxiv.org/abs/1503.03832) **MTCNN 结构**　　 ![mtcnn](http://affluent.oss-cn-hangzhou.aliyuncs.com/html/images/mtcnn_st.png) ** 如果你对DFace感兴趣并且想参与到这个项目中, 以下TODO是一些需要实现的功能，我定期会更新，它会实时展示一些需要开发的清单。提交你的fork request,我会用issues来跟踪和反馈所有的问题。也可以加DFace的官方Q群 681403076 也可以加本人微信 jinkuaikuai005 ** ### TODO(需要开发的功能) - 基于center loss 或者triplet loss原理开发人脸对比功能，模型采用ResNet inception v2. 该功能能够比较两张人脸图片的相似性。具体可以参考 [Paper](https://arxiv.org/abs/1503.03832)和[FaceNet](https://github.com/davidsandberg/facenet) - 反欺诈功能，根据光线，质地等人脸特性来防止照片攻击，视频攻击，回放攻击等。具体可参考LBP算法和SVM训练模型。 - 3D人脸反欺诈。 - mobile移植，根据ONNX标准把pytorch训练好的模型迁移到caffe2,一些numpy算法改用c++实现。 - Tensor RT移植，高并发。 - Docker支持，gpu版 ## 安装 DFace主要有两大模块，人脸检测和人脸识别。我会提供所有模型训练和运行的详细步骤。你首先需要构建一个pytorch和cv2的python环境，我推荐使用Anaconda来设置一个独立的虚拟环境。目前作者倾向于Linux Ubuntu安装环境。感谢山东一位网友提供windows DFace安装体验，windos安装教程具体 可参考他的[博客](http://www.alearner.top/index.php/2017/12/23/dface-pytorch-win64-gpu) ### 依赖 * cuda 8.0 * anaconda * pytorch * torchvision * cv2 * matplotlib ```shell git clone https://gitee.com/kuaikuaikim/dface.git ``` 在这里我提供了一个anaconda的环境依赖文件environment.yml （windows请用environment-win64.yml），它能方便你构建自己的虚拟环境。 ```shell cd dface conda env create -f environment.yml ``` 添加python搜索模块路径 ```shell export PYTHONPATH=$PYTHONPATH:{your local DFace root path} ``` ### 人脸识别和检测 如果你对mtcnn模型感兴趣，以下过程可能会帮助到你。 #### 训练mtcnn模型 MTCNN主要有三个网络，叫做**PNet**, **RNet** 和 **ONet**。因此我们的训练过程也需要分三步先后进行。为了更好的实现效果，当前被训练的网络都将依赖于上一个训练好的网络来生成数据。所有的人脸数据集都来自　**[WIDER FACE](http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/)** 和 **[CelebA](http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html)**。WIDER FACE仅提供了大量的人脸边框定位数据，而CelebA包含了人脸关键点定位数据。以下训练除了　生成ONet的人脸关键点训练数据和标注文件　该步骤使用CelebA数据集，其他一律使用WIDER FACE。如果使用wider face的 wider_face_train.mat 注解文件需要转换成txt格式的，我这里用h5py写了个 [转换脚本](https://gitee.com/kuaikuaikim/dface/blob/master/dface/prepare_data/widerface_annotation_gen/transform.py). 这里我提供一个已经转换好的wider face注解文件 [anno_store/wider_origin_anno.txt](https://gitee.com/kuaikuaikim/dface/blob/master/anno_store/wider_origin_anno.txt), 以下训练过程参数名--anno_file默认就是使用该转换好的注解文件。 * 创建 dface 训练数据临时目录，对应于以下所有的参数名　--dface_traindata_store ```shell mkdir {your dface traindata folder} ``` * 生成PNet训练数据和标注文件 ```shell python dface/prepare_data/gen_Pnet_train_data.py --prefix_path {注解文件中图片的目录前缀,就是wider face图片所在目录} --dface_traindata_store {之前创建的dface训练数据临时目录}　--anno_file {wider face 注解文件,可以不填，默认使用anno_store/wider_origin_anno.txt} ``` * 乱序合并标注文件 ```shell python dface/prepare_data/assemble_pnet_imglist.py ``` * 训练PNet模型 ```shell python dface/train_net/train_p_net.py ``` * 生成ＲNet训练数据和标注文件 ```shell python dface/prepare_data/gen_Rnet_train_data.py --prefix_path {注解文件中图片的目录前缀，就是wider face图片所在目录} --dface_traindata_store {之前创建的dface训练数据临时目录} --anno_file {wider face 注解文件,可以不填，默认使用anno_store/wider_origin_anno.txt} --pmodel_file {之前训练的Pnet模型文件} ``` * 乱序合并标注文件 ```shell python dface/prepare_data/assemble_rnet_imglist.py ``` * 训练RNet模型 ```shell python dface/train_net/train_r_net.py ``` * 生成ONet训练数据和标注文件 ```shell python dface/prepare_data/gen_Onet_train_data.py --prefix_path {注解文件中图片的目录前缀，就是wider face图片所在目录} --dface_traindata_store {之前创建的dface训练数据临时目录} --anno_file {wider face 注解文件,可以不填，默认使用anno_store/wider_origin_anno.txt} --pmodel_file {之前训练的Pnet模型文件} --rmodel_file {之前训练的Rnet模型文件} ``` * 生成ONet的人脸五官关键点训练数据和标注文件 ```shell python dface/prepare_data/gen_landmark_48.py ``` * 乱序合并标注文件(包括人脸五官关键点) ```shell python dface/prepare_data/assemble_onet_imglist.py ``` * 训练ONet模型 ```shell python dface/train_net/train_o_net.py ``` #### 测试人脸检测 ```shell python test_image.py ``` ### 人脸对比 @TODO 根据center loss实现人脸识别 ##　测试效果 ![mtcnn](http://affluent.oss-cn-hangzhou.aliyuncs.com/html/images/dface_demoall.PNG) ### QQ交流群(模型获取请加群) #### 681403076 ![](http://affluent.oss-cn-hangzhou.aliyuncs.com/html/images/dfaceqqsm.png) #### 本人微信 ##### jinkuaikuai005 ![](http://affluent.oss-cn-hangzhou.aliyuncs.com/html/images/perqr.jpg) ## License [Apache License 2.0](LICENSE)
insightface 训练数据集介绍-转
u010451780的专栏
07-07 1992
https://blog.csdn.net/ctwy291314/article/details/88872490 前言 本文以lfw数据集进行示例 lfw结果集下载地址：http://vis-www.cs.umass.edu/lfw/lfw.tgz insightface源码下载地址：https://github.com/deepinsight/insightface insightface作者提供了完整的工程，能够基本满足并完成人脸识别流程 人脸识别流程4步：1、检测；2、对齐矫正；3、提取特征；
lfw数据集_人脸识别：insightface自定义数据集制作 | 附练手数据集
weixin_39870199的博客
12-03 1075
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号AI算法与图像处理授权转01人脸识别简介简单来讲，人脸识别这个问题，就是给定两个人脸，然后判定他们是不是同一个人，这是它最原始的定义。它有很多应用场景，比如银行柜台、海关、手机解锁、酒店入住、网吧认证，会查身份证跟你是不是同一个人。关于人脸识别的内容，网上资料很多，这里推荐一篇综述，详细介绍了一些人脸识别的背景和目前的相关研究，以及...
人脸识别之insightface 自定义数据集制作
dualvencsdn的博客
06-17 1883
（1）数据对齐并生成lst文件 cd /data/insightface/src/align/ python align_lfw.py --input-dir ../../datasets/lfw --output-dir ../../datasets/out2 （2）创建property配置文件 在datasets/train下创建property，没有后缀 写入下面内容，含义1000,112,112代表ID数量，尺寸，尺寸 （3）生成rec&idx文件（依托于lst文件）..
训练人脸识别 pytorch
05-19
在人脸识别中，常用的模型有 VGGFace、FaceNet 和 ArcFace 等。 3. 定义损失函数：选择适当的损失函数，如 Triplet loss、Contrastive loss 和 Softmax loss 等。 4. 模型训练：使用训练数据对模型进行训练，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值