年龄性别预测2:Pytorch实现年龄性别预测和识别(含训练代码和数据)
目录
年龄性别预测2:Pytorch实现年龄性别预测和识别(含训练代码和数据)
本项目将实现年龄性别预测和识别,整套方案采用二阶段方法实现,即首先使用通用的人脸检测算法(Face Detection)定位人脸区域,裁剪人脸,再构建多任务模型,分别进行年龄预测(Age)和性别识别(Gender)。项目分为数据集说明,Pytorch模型训练和C++/Android部署等多个章节,本篇是项目《年龄性别预测》系列文章之Pytorch实现年龄性别预测和识别;为了方便后续模型工程化和Android平台部署,项目骨干网络backbone支持resnet18/resnet50,以及轻量化模型MobilenetV2模型训练和测试,并提供Python/C++/Android多个版本;
项目基于深度学习Pytorch,构建了整套年龄性别预测和识别模型训练和测试框架;项目源码backbone模型支持的有resnet18,resnet50,以及轻量化模型mobilenet_v2等常见的深度学习模型,用户也可自定义进行训练;准确率还挺高的,采用轻量级mobilenet_v2模型的性别识别准确率0.9603左右,年龄预测MAE(平均绝对误差:)3.1935左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8021左右,基本满足业务性能需求。
模型 | input size | 性别准确率 | 年龄MAE | 年龄CS3 | 年龄CS5 |
AE_mobilenet_v2 | 112×112 | 0.9603 | 3.1935 | 0.5969 | 0.8021 |
AE_resnet18 | 112×112 | 0.9606 | 3.1795 | 0.5956 | 0.8010 |
AE_resnet50 | 112×112 | 0.9609 | 3.2008 | 0.5900 | 0.8035 |
先展示一下,Python版本的年龄性别识别Demo效果
【尊重原创,转载请注明出处】 https://blog.csdn.net/guyuealian/article/details/135556789
更多项目《年龄性别预测》和《面部表情识别》系列文章请参考:
- 面部表情识别1:表情识别数据集(含下载链接)
- 面部表情识别2:Pytorch实现表情识别(含表情识别数据集和训练代码)
- 面部表情识别3:Android实现表情识别(含源码,可实时检测)
- 面部表情识别4:C++实现表情识别(含源码,可实时检测)
- 年龄性别预测1:年龄性别数据集说明(含下载地址)
- 年龄性别预测2:Pytorch实现年龄性别预测和识别(含训练代码和数据)
- 年龄性别预测3:Android实现年龄性别预测和识别(含源码,可实时预测)
- 年龄性别预测4:C/C++实现年龄性别预测和识别(含源码,可实时预测)
1.年龄性别预测和识别方法
年龄性别预测和识别方法有多种实现方案,这里采用最常规的二阶段方法实现,即首先使用通用的人脸检测算法(Face Detection)定位人脸区域,裁剪人脸,再构建多任务模型,分别进行年龄预测(Age)和性别识别(Gender)。
- 人脸检测:人脸检测算法已经有很多成熟开源项目了,本项目不作分析,可以参考使用MTCNN,DSFD,FaceBoxes,RFB等方法。
- 性别识别:性别识别是一个简单二分类,训练使用交叉熵损失函数即可
- 年龄预测:可以采用年龄分类方法,如SSR-Net模型,也可以结合回归的方法,如Label Distribution。就调研而言,基于Label Distribution的方法会比分类方法准确率会高一些。
下图本项目构建的年龄性别预测和识别模型,其中
- Backbone:主杆网络,用于提取人脸图像特征,可以使用任意的骨干网络,如resnet18,resnet34,resnet50以及轻量化模型mobilenet_v2等
- Gender-branch: 性别识别分支,用于对性别进行分类识别,损失函数使用交叉熵
- Age-branch: 年龄预测分支,对年龄进行预测,损失函数可以使用交叉熵或者Label Distribution,项目设定最大周岁是70周岁,训练数据中年龄大于70的lalel,会重置为70。
2.年龄性别预测和识别数据集
项目主要使用了三个数据集:MegaAge_Asian,MORPH以及IMDB-WIKI,考虑到IMDB-WIKI人脸数据集不够干净,实际模型训练,仅使用MegaAge_Asian和MORPH两个数据集
关于年龄性别数据集的使用说明,请参考我的一篇博客: 年龄性别预测1:年龄性别数据集说明(含下载地址)https://blog.csdn.net/guyuealian/article/details/135127124
3.人脸检测模型
本项目人脸检测训练代码请参考:https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB
这是一个基于SSD改进且轻量化后人脸检测模型,很轻巧,整个模型仅仅1.7M左右,在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用,如MTCNN,DSFD,FaceBoxes,完全可以不局限我这个方法。
关于人脸检测的方法,可以参考我的另一篇博客:
行人检测和人脸检测和人脸关键点检测(C++/Android源码)
4.年龄性别预测和识别模型训练
项目模型支持resnet18,resnet50以及mobilenet_v2等常见的深度学习模型,考虑到后续我们需要将年龄性别识别模型部署到Android平台中,因此项目选择计算量比较小的轻量化模型mobilenet_v2作为样例进行验证和测试;如果不用端上部署,完全可以使用参数量更大的模型,如resnet50等模型。
整套工程项目基本结构如下:
.
├── classifier # 训练模型相关工具
├── configs # 训练配置文件
├── data # 训练数据
├── libs
│ ├── convert # 将模型转换为ONNX工具
│ ├── detector # 人脸检测
│ └── README.md
├── demo.py # demo
├── README.md # 项目工程说明文档
├── requirements.txt # 项目相关依赖包
└── train.py # 训练文件
(1)项目安装
推荐使用Python3.8或Python3.7,更高版本可能存在版本差异问题,项目依赖python包请参考requirements.txt,使用pip安装即可:
# python3.8
numpy==1.21.6
matplotlib==3.1.0
Pillow==6.0.0
easydict==1.9
onnx==1.14.0
onnx-simplifier==0.4.33
onnxruntime==1.15.1
onnxruntime-gpu==1.15.1
onnxsim==0.4.33
opencv-contrib-python==4.8.1.78
opencv-python==4.8.0.76
pandas==1.1.5
PyYAML==5.3.1
Pillow==9.5.0
scikit-image==0.21.0
scikit-learn==1.2.2
scipy==1.10.1
seaborn==0.12.2
tensorboard==2.13.0
tensorboardX==2.6.1
torch==1.13.1+cu117
torchvision==0.14.1+cu117
tqdm==4.55.1
xmltodict==0.12.0
basetrainer==0.8.2
pybaseutils==0.9.7
项目安装教程请参考(初学者入门,麻烦先看完下面教程,配置好开发环境):
- 项目开发使用教程和常见问题和解决方法
- 视频教程:1 手把手教你安装CUDA和cuDNN(1)
- 视频教程:2 手把手教你安装CUDA和cuDNN(2)
- 视频教程:3 如何用Anaconda创建pycharm环境
- 视频教程:4 如何在pycharm中使用Anaconda创建的python环境
- 推荐使用Python3.8或Python3.7,更高版本可能存在版本差异问题
(2)准备数据
下载年龄性别数据集:MegaAge_Asian,MORPH以及IMDB-WIKI,关于年龄性别数据的使用说明请参考我的一篇博客:https://blog.csdn.net/guyuealian/article/details/135127124
注意:可以参考数据格式,增加自己的业务场景数据;采集同一个人不同年龄阶段的人脸数据加入模型训练,可以有效提升年龄预测的精准度。
(3)年龄性别模型训练(Pytorch)
项目在《Pytorch基础训练库Pytorch-Base-Trainer(支持模型剪枝 分布式训练)》基础上实现了年龄性别模型训练和测试,整套训练代码非常简单操作,用户只需要将相同类别的图片数据放在同一个目录下,并填写好对应的数据路径,即可开始训练了。
训练框架采用Pytorch,整套训练代码支持的内容主要有:
- 目前支持的backbone有:resnet[18,34,50], ,mobilenet_v2等, 其他backbone可以自定义添加
- 训练参数可以通过(configs/config.yaml)配置文件进行设置
- 损失函数使用Label Distribution方法进行训练,也会比直接使用交叉熵损失函数效果要好。
修改配置文件的数据路径:configs/config.yaml:
- train_data和test_data修改为自己的数据路径
- 注意数据路径分隔符使用【/】,不是【\】
- 项目不要出现含有中文字符的目录文件或路径,否则会出现很多异常!
# 训练数据集,可支持多个数据集(不要出现中文路径)
data_type: "age_gender"
train_data:
- "D:/age_gender/megaage_asian/train.txt"
- "D:/age_gender/morph/train.txt"
# 测试数据集(不要出现中文路径)
test_data:
- "D:/age_gender/megaage_asian/test.txt"
# 类别文件
class_name: [ "female","male" ]
gender_class: 2 # 性别类别数
gender_loss: "CrossEntropyLoss"# 选择性别损失函数:支持CrossEntropyLoss
age_class: 70 # 年龄类别数
age_loss: "L1Loss" # 选择年龄损失函数:支持KLDivLoss,L1Loss
use_age_ld: True # 是否使用Label Distribution,如use_age_ld=True,则age_loss="L1Loss"
#age_loss: "CrossEntropyLoss" # 选择年龄损失函数:支持CrossEntropyLoss
#use_age_ld: False # 是否使用Label Distribution,如use_age_ld=False,则age_loss="CrossEntropyLoss"
train_transform: "train" # 训练使用的数据增强方法
test_transform: "val" # 测试使用的数据增强方法
work_dir: "work_space/" # 保存输出模型的目录
net_type: "AE_mobilenet_v2" # 骨干网络,支持:AE_resnet18/50,AE_mobilenet_v2
width_mult: 1.0 # 模型宽度因子
input_size: [ 112,112 ] # 模型输入大小
rgb_mean: [ 0.5, 0.5, 0.5 ] # for normalize inputs to [-1, 1],Sequence of means for each channel.
rgb_std: [ 0.5, 0.5, 0.5 ] # for normalize,Sequence of standard deviations for each channel.
batch_size: 64 # batch_size
lr: 0.01 # 初始学习率
optim_type: "SGD" # 选择优化器,SGD,Adam
momentum: 0.9 # SGD momentum
num_epochs: 150 # 训练循环次数
num_warn_up: 5 # warn-up次数
num_workers: 8 # 加载数据工作进程数
weight_decay: 0.0005 # weight_decay,默认5e-4
scheduler: "ExpLR" # 学习率调整策略
milestones: [30,80,120] # 下调学习率方式
gpu_id: [ 0 ] # GPU ID
log_freq: 50 # LOG打印频率
progress: True # 是否显示进度条
pretrained: True # 是否使用pretrained模型
finetune: False # 是否进行finetune
开始训练,在终端输入:
python train.py -c configs/config.yaml
训练完成后,采用轻量级mobilenet_v2模型的性别识别准确率0.96左右,年龄预测MAE(平均绝对误差:)3.2左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8左右
(4) 可视化训练过程
训练过程可视化工具是使用Tensorboard,在终端(Terminal)输入命令:
使用教程,请参考:项目开发使用教程和常见问题和解决方法
# 需要安装tensorboard==2.5.0和tensorboardX==2.1
# 基本方法
tensorboard --logdir=path/to/log/
# 例如
tensorboard --logdir=work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/log
可视化效果
(5) 年龄性别预测和识别效果
下表给出已经训练好的三个模型mobilenet_v2,resnet18和resnet50训练后的性能指标,其中采用轻量级mobilenet_v2模型的性别识别准确率0.9603左右,年龄预测MAE(平均绝对误差:)3.1935左右,CS5(预测年龄与真实年龄的绝对误差不过5年的准确率)0.8021左右,基本满足业务性能需求。
模型 | input size | 性别准确率 | 年龄MAE | 年龄CS3 | 年龄CS5 |
AE_mobilenet_v2 | 112×112 | 0.9603 | 3.1935 | 0.5969 | 0.8021 |
AE_resnet18 | 112×112 | 0.9606 | 3.1795 | 0.5956 | 0.8010 |
AE_resnet50 | 112×112 | 0.9609 | 3.2008 | 0.5900 | 0.8035 |
-
测试图片文件
# 测试图片文件
python demo.py --image_dir data/test_image --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/
-
测试视频文件
# 测试视频文件
python demo.py --video_file data/video-test.mp4 --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/
-
测试摄像头
# 测试摄像头
python demo.py --video_file 0 --model_file work_space/AE_mobilenet_v2_1.0_L1Loss_20240105_181151_9813/model/best_model_082_0.8021.pth --out_dir output/
下面是年龄性别预测和识别的效果
(6) 一些优化建议
如果想进一步提高模型的性能,可以尝试:
- 关于性别识别的问题:目前性别识别的准确率约96%,识别错误的主要有两种情况,(1)儿童性别容易误识别,特别是1~3岁左右的儿童,性别识别比较困难 (2) 长头发的男生或者短头发的女生的,也容易误识别;其他情况,正常穿着打扮的男士女生识别准确率可以达到99%左右。
- 关于年龄预测的问题:现有数据年龄部分不均匀,大部分人脸数据年龄分布在20-40岁之间的年轻人,而儿童和老年人的数据比较少;导致儿童和老年人年龄预测精准度比较差;另外,也是强烈建议的:采集同一个人不同年龄阶段的人脸数据加入模型训练,可以有效提升年龄预测的精准度。损失函数使用Label Distribution方法进行训练,也会比直接使用交叉熵损失函数效果要好。
- 当人脸存在遮挡时,如戴眼镜,戴口罩,头发遮挡,年龄预测的误差较大,建议实际使用过程中,尽量采集正脸,无遮挡的人脸图片进行测试
- 清洗数据集(最重要):尽管鄙人已经清洗一部分了,但还是建议你,训练前,再次清洗数据集,不然会影响模型的识别的准确率。
- 增加训练的样本数据: 建议根据自己的业务场景,采集相关数据,提高模型泛化能力
- 使用参数量更大的模型: 本教程使用的是mobilenet_v2模型,属于比较轻量级的分类模型,采用更大的模型(如resnet50),理论上其精度更高,但推理速度也较慢。
- 尝试不同数据增强的组合进行训练
- 增加数据增强: 已经支持: 随机裁剪,随机翻转,随机旋转,颜色变换等数据增强方式,可以尝试诸如mixup,CutMix等更复杂的数据增强方式
- 样本均衡: 原始数据年龄类别数据并不均衡,类别20-40岁的数据偏多,而老年人和小孩的数据偏少,这会导致训练的模型会偏向于样本数较多的类别。建议进行样本均衡处理。
- 调超参: 比如学习率调整策略,优化器(SGD,Adam等)
- 损失函数: 目前训练代码已经支持:交叉熵,LabelSmoothing,可以尝试FocalLoss等损失函数
(7) 一些运行错误处理方法
-
项目不要出现含有中文字符的目录文件或路径,否则会出现很多异常!!!!!!!!
-
cannot import name 'load_state_dict_from_url'
由于一些版本升级,会导致部分接口函数不能使用,请确保版本对应
torch==1.7.1
torchvision==0.8.2
或者将对应python文件将
from torchvision.models.resnet import model_urls, load_state_dict_from_url
修改为:
from torch.hub import load_state_dict_from_url
model_urls = {
'mobilenet_v2': 'https://download.pytorch.org/models/mobilenet_v2-b0353104.pth',
'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth',
'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth',
'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth',
'resnet101': 'https://download.pytorch.org/models/resnet101-5d3b4d8f.pth',
'resnet152': 'https://download.pytorch.org/models/resnet152-b121ed2d.pth',
'resnext50_32x4d': 'https://download.pytorch.org/models/resnext50_32x4d-7cdf4587.pth',
'resnext101_32x8d': 'https://download.pytorch.org/models/resnext101_32x8d-8ba56ff5.pth',
'wide_resnet50_2': 'https://download.pytorch.org/models/wide_resnet50_2-95faca4d.pth',
'wide_resnet101_2': 'https://download.pytorch.org/models/wide_resnet101_2-32ee1156.pth',
}
5.项目源码下载(Python版)
(1)年龄性别预测和识别项目源码下载(推理版本)
项目源码下载地址: 年龄性别预测2:Pytorch实现年龄性别预测和识别(推理版本)
整套项目源码内容包含:
- 这是推理版本,不含训练代码,可作为模型测试使用
- 提供年龄性别预测和识别模型的测试代码:demo.py
- Demo支持图片,视频和摄像头测试
- 项目支持模型:AG_resnet18,AG_resnet50以及AG_mobilenet_v2等常见的深度学习模型
- 项目源码自带训练好的模型文件,配置好依赖环境,可直接运行测试: python demo.py
- 在普通电脑CPU/GPU上可以实时检测和识别
(2)年龄性别预测和识别项目源码下载(训练版本)
项目源码下载地址: 年龄性别预测2:Pytorch实现年龄性别预测和识别(训练版本)
整套项目源码内容包含:
- 这是训练版本,在推理版本的基础上增加了训练代码,以及配套的训练数据集,可复现文章的训练效果
- 提供年龄性别数据集:MegaAge_Asian,MORPH以及IMDB-WIKI,标注了年龄和性别标签,总数约28W+的人脸图片。
- 提供年龄性别预测和识别模型的训练代码:train.py,训练代码支持Label Distribution,效果比直接使用交叉熵损失函数要好;数据加载也支持样本重采用(Resample)
- 提供年龄性别预测和识别模型的测试代码:demo.py
- Demo支持图片,视频和摄像头测试
- 项目支持模型:AG_resnet18,AG_resnet50以及AG_mobilenet_v2等常见的深度学习模型
- 项目源码自带训练好的模型文件,配置好依赖环境,可直接运行测试: python demo.py
- 在普通电脑CPU/GPU上可以实时检测和识别
6.项目源码下载(C++版)
年龄性别预测4:C/C++实现年龄性别预测和识别(含源码,可实时预测)
7.项目源码下载(Android版)
目前已经实现Android版本的年龄性别预测和识别,详细项目请参考:
年龄性别预测和识别Android APP Demo体验:https://download.csdn.net/download/guyuealian/88743711