基于CNN的性别、年龄识别

原文地址http://blog.csdn.NET/hjimce/article/details/49255013

**作者:**hjimce

一、相关理论

  本篇博文主要讲解2015年一篇paper《Age and Gender Classification using Convolutional Neural Networks》,个人感觉这篇文献没啥难度,只要懂得Alexnet,实现这篇文献的算法,会比较容易。其实读完这篇paper之后,我一直在想paper的创新点在哪里?因为我实在没有看出paper的创新点在哪里,估计是自己水平太lower了,看文献没有抓到文献的创新点。难道是因为利用CNN做年龄和性别分类的paper很少吗?网上搜索了一下,性别预测,以前很多都是用SVM算法,用CNN搞性别分类就只搜索到这一篇文章。个人感觉利用CNN进行图片分类已经不是什么新鲜事了,年龄、和性别预测,随便搞个CNN网络,然后开始训练跑起来,也可以获得不错的精度。

  性别分类自然而然是二分类问题,然而对于年龄怎么搞?年龄预测是回归问题吗?paper采用的方法是把年龄划分为多个年龄段,每个年龄段相当于一个类别,这样性别也就多分类问题了。所以我们不要觉得现在的一些APP,功能好像很牛逼,什么性别、年龄、衣服类型、是否佩戴眼镜等识别问题,其实这种识别对于CNN来说,基本上是松松搞定的事,当然你如果要达到非常高的识别精度,是另外一回事了,就需要各种调参了。

言归正传,下面开始讲解2015年paper《Age and Gender Classification using Convolutional Neural Networks》的网络结构,这篇文章没有什么新算法,只有调参,改变网络层数、卷积核大小等……所以如果已经对Alexnet比较熟悉的,可能会觉得看起来没啥意思,这篇papar的相关源码和训练数据,文献作者有给我们提供,可以到Caffe zoo model:https://github.com/BVLC/caffe/wiki/Model-Zoo 或者文献的主页:http://www.openu.ac.il/home/hassner/projects/cnn_agegender/。下载相关训练好的模型,paper性别、年龄预测的应用场景比较复杂,都是一些非常糟糕的图片,比较模糊的图片等,所以如果我们想要直接利用paper训练好的模型,用到我们自己的项目上,可能精度会比较低,后面我将会具体讲一下利用paper的模型进行fine-tuning,以适应我们的应用,提高我们自己项目的识别精度。

二、算法实现

因为paper的主页,有提供网络结构的源码,我将结合网络结构文件进行讲解。

1、 网络结构:

Paper所用的网络包含:3个卷积层,还有2个全连接层。这个算是层数比较少的CNN网络模型了,这样可以避免过拟合。对于年龄的识别,paper仅仅有8个年龄段,相当于8分类模型;然后对于性别识别自然而然是二分类问题了。

然后图像处理直接采用3通道彩色图像进行处理,图片6都统一缩放到256*256,然后再进行裁剪,为227*227(训练过程随机裁剪,验证测试过程通过矩形的四个角+中心裁剪),也就是说网络的输入时227*227的3通道彩色图像,总之基本上跟Alexnet一样。

网络模型:

(1)第一层:采用96个卷积核,每个卷积核参数个数为3*7*7,这个就相当于3个7*7大小的卷积核在每个通道进行卷积。激活函数采用ReLU,池化采用最大重叠池化,池化的size选择3*3,strides选择2。然后接着再来一个局部响应归一化层。什么叫局部响应归一化,自己可以查看一下文献:《ImageNet Classification with Deep Convolutional Neural Networks》,局部响应归一化可以提高网络的泛化能力。

局部响应归一化,这个分成两种情况,一种是3D的归一化,也就是特征图之间对应像素点的一个归一化。还有一种是2D归一化,就是对特征图的每个像素的局部做归一化。局部响应归一化其实这个可有可无,精度提高不了多少,如果你还不懂上面那个公式也没有关系。我们可以利用最新的算法:Batch Normalize ,这个才牛逼呢,2015年,我觉得最牛逼的算法之一,不仅提高了训练速度,连精度也提高了。过程:通过7*7大小的卷积核,对227*227图片卷积,然后特征图的个数为96个,每个特征图都是三通道的,这个作者没有讲到卷积层的stride大小,不过我们大体可以推测出来,因为paper的网络结构是模仿:ImageNet Classification with Deep Convolutional Neural Networks的网络结构的,连输入图片的大小也是一样的,这篇文献的第一层如下所示:

我们可以推测出,paper选择的卷积步长为4,这样经过卷积后,然后pad为2,这样经过卷积后图片的大小为:(227-7)/4+1=56。然后经过3*3,且步长为2的大小,进行重叠池化,可以得到:56/2=28*28大小的图片,具体边界需要补齐。下面是原文的第一层结构示意图:

layers {  
name: "conv1"  
type: CONVOLUTION  
bottom: "data"  
top: "conv1"  
blobs_lr: 1  
blobs_lr: 2  
weight_decay: 1  
weight_decay: 0  
convolution_param {  
  num_output: 96  
  kernel_size: 7  
  stride: 4  
  weight_filler {  
    type: "gaussian"  
    std: 0.01  
  }  
  bias_filler {  
    type: "constant"  
    value: 0  
  }  
}  
}    
layers {  
  name: "relu1"  
  type: RELU  
  bottom: "conv1"  
  top: "conv1"  
}  
layers {  
  name: "pool1"  
  type: POOLING  
  bottom: "conv1"  
  top: "pool1"  
  pooling_param {  
    pool: MAX  
    kernel_size: 3  
    stride: 2  
  }  
}  
layers {  
  name: "norm1"  
  type: LRN  
  bottom: "pool1"  
  top: "norm1"  
  lrn_param {  
    local_size: 5  
    alpha: 0.0001  
    beta: 0.75  
  }  
}  

(2)第二层:第二层的输入也就是96*28*28的单通道图片,因为我们上一步已经把三通道合在一起进行卷积了。第二层结构,选择256个滤波器,滤波器大小为5*5,卷积步长为1,这个也可以参考AlexNet的结构。池化也是选择跟上面的一样的参数。

layers {  
name: "conv2"  
type: CONVOLUTION  
bottom: "norm1"  
top: "conv2"  
blobs_lr: 1  
blobs_lr: 2  
weight_decay: 1  
weight_decay: 0  
convolution_param {  
  num_output: 256  
  pad: 2  
  kernel_size: 5  
  weight_filler {  
    type: "gaussian"  
    std: 0.01  
  }  
  bias_filler {  
    type: "constant"  
    value: 1  
  }  
}  
}    
layers {  
  name: "relu2"  
  type: RELU  
  bottom: "conv2"  
  top: "conv2"  
}  
layers {  
  name: "pool2"  
  type: POOLING  
  bottom: "conv2"  
  top: "pool2"  
  pooling_param {  
    pool: MAX  
    kernel_size: 3  
    stride: 2  
  }  
}  
layers {  
  name: "norm2"  
  type: LRN  
  bottom: "pool2"  
  top: "norm2"  
  lrn_param {  
    local_size: 5  
    alpha: 0.0001  
    beta: 0.75  
  }  
}

(3)第三层:滤波器个数选择384,卷积核大小为3*3。

layers {  
  name: "conv3"  
  type: CONVOLUTION  
  bottom: "norm2"  
  top: "conv3"  
  blobs_lr: 1  
  blobs_lr: 2  
  weight_decay: 1  
  weight_decay: 0  
  convolution_param {  
    num_output: 384  
    pad: 1  
    kernel_size: 3  
    weight_filler {  
      type: "gaussian"  
      std: 0.01  
    }  
    bias_filler {  
      type: "constant"  
      value: 0  
    }  
  }  
}  
layers {  
  name: "relu3"  
  type: RELU  
  bottom: "conv3"  
  top: "conv3"  
}  
layers {  
  name: "pool5"  
  type: POOLING  
  bottom: "conv3"  
  top: "pool5"  
  pooling_param {  
    pool: MAX  
    kernel_size: 3  
    stride: 2  
  }  
}

(4)第四层:第一个全连接层,神经元个数选择512。

layers {  
  name: "fc6"  
  type: INNER_PRODUCT  
  bottom: "pool5"  
  top: "fc6"  
  blobs_lr: 1  
  blobs_lr: 2  
  weight_decay: 1  
  weight_decay: 0  
  inner_product_param {  
    num_output: 512  
    weight_filler {  
      type: "gaussian"  
      std: 0.005  
    }  
    bias_filler {  
      type: "constant"  
      value: 1  
    }  
  }  
}  
layers {  
  name: "relu6"  
  type: RELU  
  bottom: "fc6"  
  top: "fc6"  
}  
layers {  
  name: "drop6"  
  type: DROPOUT  
  bottom: "fc6"  
  top: "fc6"  
  dropout_param {  
    dropout_ratio: 0.5  
  }  
}

(5)第五层:第二个全连接层,神经元个数也是选择512。

layers {  
  name: "fc7"  
  type: INNER_PRODUCT  
  bottom: "fc6"  
  top: "fc7"  
  blobs_lr: 1  
  blobs_lr: 2  
  weight_decay: 1  
  weight_decay: 0  
  inner_product_param {  
    num_output: 512  
    weight_filler {  
      type: "gaussian"  
      std: 0.005  
    }  
    bias_filler {  
      type: "constant"  
      value: 1  
    }  
  }  
}  
layers {  
  name: "relu7"  
  type: RELU  
  bottom: "fc7"  
  top: "fc7"  
}  
layers {  
  name: "drop7"  
  type: DROPOUT  
  bottom: "fc7"  
  top: "fc7"  
  dropout_param {  
    dropout_ratio: 0.5  
  }  
}

(6)第六次:输出层,对于性别来说是二分类,输入神经元个数为2。

layers {  
  name: "fc8"  
  type: INNER_PRODUCT  
  bottom: "fc7"  
  top: "fc8"  
  blobs_lr: 10  
  blobs_lr: 20  
  weight_decay: 1  
  weight_decay: 0  
  inner_product_param {  
    num_output: 2  
    weight_filler {  
      type: "gaussian"  
      std: 0.01  
    }  
    bias_filler {  
      type: "constant"  
      value: 0  
    }  
  }  
}  
layers {  
  name: "accuracy"  
  type: ACCURACY  
  bottom: "fc8"  
  bottom: "label"  
  top: "accuracy"  
  include: { phase: TEST }  
}  
layers {  
  name: "loss"  
  type: SOFTMAX_LOSS  
  bottom: "fc8"  
  bottom: "label"  
  top: "loss"  
}

网络方面,paper没有什么创新点,模仿AlexNet结构。

2、网络训练

(1)初始化参数:权重初始化方法采用标准差为0.01,均值为0的高斯正太分布。

(2)网络训练:采用dropout,来限制过拟合。Drop out比例采用0.5,还有就是数据扩充,数据扩充石通过输入256*256的图片,然后进行随机裁剪,裁剪为227*227的图片,当然裁剪要以face中心为基础,进行裁剪。

(3)训练方法采用,随机梯度下降法,min-batch 大小选择50,学习率大小0.001,然后当迭代到10000次以后,把学习率调为0.0001。

(4)结果预测:预测方法采用输入一张256*256的图片,然后进行裁剪5张图片为227*227大小,其中四张图片的裁剪方法分别采用以256*256的图片的4个角为基点点,进行裁剪。然后最后一张,以人脸的中心为基点进行裁剪。然后对这5张图片进行预测,最后对预测结果进行平均。

三、实际应用

  文献作者给我们提供,可以到Caffe zoo model: https://github.com/BVLC/caffe/wiki/Model-Zoo或者文献的主页:http://www.openu.ac.il/home/hassner/projects/cnn_agegender/ 下载相关训练好的模型,paper性别、年龄预测的应用场景比较复杂,都是一些非常糟糕的图片,比较模糊的图片等,所以如果我们想要直接利用paper训练好的模型,用到我们自己的项目上,可能精度会比较低。我测试了一下,直接使用paper给的模型,在我的数据上进行测试,我的数据是中国人、,然后也比较清晰,直接用作者训练好的模型,精度为0.82左右,这个精度对于我们实际的工程应用还差很远。后面就要发挥自己的调参、技巧把精度提高上去,才能达到95%以上的精度,具体因为项目保密,所以不再啰嗦。最后预测结果如下:

测试精度:

参考文献:

1、《Age and Gender Classification using Convolutional Neural Networks》

2、《ImageNet Classification with Deep Convolutional Neural Networks》

3、http://www.openu.ac.il/home/hassner/projects/cnn_agegender/

4、https://github.com/BVLC/caffe/wiki/Model-Zoo


************作者:hjimce 时间:2015.10.15 联系QQ:1393852684 原创文章,转载请保留原文地址、作者等信息*****

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值