人脸识别之caffe-face

最新推荐文章于 2021-06-21 14:37:17 发布

watersink

最新推荐文章于 2021-06-21 14:37:17 发布

阅读量2.4w

点赞数 5

分类专栏：人脸识别

本文链接：https://blog.csdn.net/qq_14845119/article/details/53308996

版权

人脸识别专栏收录该内容

6 篇文章 1 订阅

订阅专栏

该论文为2016年的一篇ECCV，ADiscriminative Feature Learning Approach for Deep Face Recognition。还是深圳先进院乔宇老师组的一篇。不管是思想还是效果都非常的棒。

论文思想：

整体流程就是读取输入的图像，然后做个前向传播，应用softmax loss+center loss学习到DiscriminativeFeatures，然后进行标签的预测。

softmaxloss可以实现将2个类别分开，center loss可以实现减少类类距离，增加类间距离的效果，有点类似，线性判别分析LDA（Linear Discriminant Analysis）的思想。在效果上优于contrastiveloss和triplet loss，解决了这2个方法在采样问题中的trick。

其中，softmaxloss公式如下：

center loss公式如下：

总体的损失函数就是下面的式子：

实际的mnist测试效果如下图所示：

左图为不加center_loss的效果，右图为加了center_loss的效果。可见效果确实是不错的。

最后，测试2张人脸图像的相似性，直接计算cosine distance，简单的理解，2个特征向量越相似，夹角就会越小，cos值就会越大，也就是2个人脸越相似。

注意事项：

因为必须首先确保matcaffe的正确安装，linux下安装成功的标志为在cafferoot/matlab/+caffe/目录下有caffe_.mexa64存在。同理，windows为caffe\Build\x64\Release\matcaffe\+caffe\private下有caffe_.mexw64存在。

直接跑测试的demo的话，原版的caffe就可以跑，因为虽然作者使用了center_loss，但是在检测的过程中，只用到了前向传播，在face_deploy.prototxt中是没有center_loss这个layer的。

跑训练的话就需要编译作者提供的caffe了，里面用到了center_loss，原版的caffe是不带的，或者自己加进去，重新编译下。可以看到在face_train_test.prototxt中是包含center_loss这一层的。

实验结果：

测试图像如下，大小为816*816，

matlab源码运行效果：

本人改好的c语言release下运行效果（8G内存+XeonE3-1225）

本人改好的CUDA下运行效果（titanX）

官方程序链接：https://github.com/ydwen/caffe-face

http://ydwen.github.io/

tensorflow 版本的centerloss 实现：

def get_center_loss(features, labels, alpha, num_classes):
    # alpha:中心的更新比例
    # 获取特征长度
    len_features = features.get_shape()[1]
    # 建立一个变量，存储每一类的中心，不训练9
    centers = tf.get_variable('centers', [num_classes, len_features], dtype=tf.float32,
        initializer=tf.constant_initializer(0), trainable=False)
    # 将特征reshape成一维
    labels = tf.reshape(labels, [-1])
 
    # 获取当前batch每个样本对应的中心
    centers_batch = tf.gather(centers, labels)
    # 计算center loss的数值
    loss = tf.nn.l2_loss(features - centers_batch)
 
    # 以下为更新中心的步骤
    diff = centers_batch - features
 
    # 获取一个batch中同一样本出现的次数，这里需要理解论文中的更新公式
    unique_label, unique_idx, unique_count = tf.unique_with_counts(labels)
    appear_times = tf.gather(unique_count, unique_idx)
    appear_times = tf.reshape(appear_times, [-1,1])
 
    diff = diff / tf.cast((1+ appear_times), tf.float32)
    diff = alpha * diff
    # 更新中心
    centers = tf.scatter_sub(centers, labels, diff)
 
    return loss, centers

人脸识别训练：

该训练最重要的其实还是数据集的准备，也就是先期数据的预处理，所有的图片都要crop为112*96的大小，因为这里是使用的caffe自带的train进行训练的。

修改face_train_test.prototxt中的相关参数，

18行：source的位置，训练的图片，格式为路径/图片名类别（从0开始）

39行：source的位置，测试的图片，格式为路径/图片名类别

1146行：num_output，输出的个数，CASIA有10575个，但是有3个和LFW一样，所以这里作者用了10572个

1175行：num_output，输出的个数，CASIA有10575个，但是有3个和LFW一样，所以这里作者用了10572个

1180行：loss_weight，这里作者程序中给的是0.008，论文中验证的是0.003最佳，可以结合自己的数据集实际测试，本人测试效果差距不大，该参数为center_loss的乘积参数

然后下面的脚本开始训练，

cd $CAFFE-FACE_ROOT
./build/tools/caffe train -solver face_example/face_solver.prototxt -gpu X,Y

ps:CASIA-WebFace和LFW重复照片的对应关系为，

LFW识别率测试：

由于作者提供了其LFW数据集提取出来的特征矩阵，所以，本人也对其LFW识别率进行了测试。

首先，LFW的这个测试，包含了6000对测试比对，其中3000对为同一个人的比对，3000对不同人之间的比对，下面贴一个本人写的matlab小程序。

%directed by watersink2016.12.26
%any question,send me watersink2016@gmail.com

clc;clear;

pair = importfile('pair.txt',1, 6001);
pic1=pair(:,1);
num1=pair(:,2);
pic2_num2=pair(:,3);
num2=pair(:,4);
LFW_Feature=load('LFW_Feature');

similarone=[];
similartwo=[];

for i=2:6001
%    第一行不做处理
i
str1='';
str2='';
if  length(pic2_num2{i})<4
    %处理同一个人
    str1=strcat(strcat(strcat(pic1{i},'_'),num2str(num1{i},'%04d')),'.jpg');
    str2=strcat(strcat(strcat(pic1{i},'_'),num2str(str2num(pic2_num2{i}),'%04d')),'.jpg');
else
    %处理不同人
    str1=strcat(strcat(strcat(pic1{i},'_'),num2str(num1{i},'%04d')),'.jpg');
    str2=strcat(strcat(strcat(pic2_num2{i},'_'),num2str(num2{i},'%04d')),'.jpg');
end
    numnum1=find(strcmp(LFW_Feature.list,str1)==1);
    numnum2=find(strcmp(LFW_Feature.list,str2)==1);
    similar=dot(LFW_Feature.feature(:,numnum1),LFW_Feature.feature(:,numnum2))/norm(LFW_Feature.feature(:,numnum1))...
        /norm(LFW_Feature.feature(:,numnum2));

    if length(pic2_num2{i})<4
        similarone=[similarone;similar];
    else
        similartwo=[similartwo;similar];
    end

end

%画最后相似性得分图
figure,plot(similarone);
xlabel('category');ylabel('similarity');title('oneself to oneself');
figure,plot(similartwo);
xlabel('category');ylabel('similarity');title('oneself to otherselves');

%测试不同阈值下的最终识别率
similiarityAll=[];
for threshold=0:0.0001:1
    threshold
    numpos=0;
    numneg=0;
    for i=1:size(similarone,1)
        if similarone(i)>=threshold
            numpos=numpos+1;
        else
            numneg=numneg+1;
        end
         if similartwo(i)<threshold
             numpos=numpos+1;
         else
             numneg=numneg+1;
        end
    end
    similiarity=numpos/(numpos+numneg);
    similiarityAll=[similiarityAll;similiarity];
    
end
bestthreshold=find(similiarityAll==max(similiarityAll));
figure,plot([0:0.0001:1],similiarityAll),hold on,plot(bestthreshold/10000,max(similiarityAll),'*r');
xlabel('threshold');ylabel('similarity');title('different threshold generate different similiarity');