17.4.17 漫画与人脸识别（二） WebCaricature: a benchmark for caricature face recognition 小感

最近在读《WebCaricature: a benchmark for caricature face recognition》。
本文主要有是三个贡献。

1. 提出了一个新的漫画数据库。数据库包裹252个人的漫画和照片，其中每个人平均有32张照片和57张漫画肖像。对于数据库中的每一张照片，提供了17个人脸特征点的位置。本文提出的数据库将会是目前可获取的最大的漫画数据库。对于每个人的肖像漫画，搜集了不同风格的漫画家的作品。、
   
2. 本文提出了四种基本的实验方案。分别是受限的和非受限的肖像漫画验证，漫画到图片和图片到漫画的识别。本文为漫画的识别问题提出了一种新的框架：漫画粉脸检测，漫画人脸特征点检测，漫画人脸定位，人脸提取，特征匹配。

3. 本文尝试了三种人脸定位的方法，四种手工特征和一种深度特征来做特征提取。在特征匹配时，利用利用九个子空间和度量学习的方法。

   对于漫画人脸识别的问题，在之前就有人做过这样的工作，比如采用逻辑回归、多核学习和SVM结合的方法计算漫画与原图的相似得分。同样的，还有利用CCA（典型相关分析）来实现，其中，每个图片都有73个特征。

一、数据库收集
1.图片搜索和预处理
按照框架的结果一步一步进行实施。首先收集数据并且进行预处理。本文的数据库主要来自于Google图片搜索和Printerest的结果。在搜索后，把重复的漫画和图片进行删除（通过提取漫画或者图片的特征，相似度较高的进行剔除）。最终可以得到252个人的6042幅漫画和5974幅图片。
2、标签信息
本文选取了人脸标记中常用的68个特征点中的17个点，分别如图所示。

首先将所有的图片通过face++进行特征点的标注。然后人工检查标注的准确性，大部分的精力应该放在漫画的特征点检查。
二．识别框架
目前大部分的caricature识别问题都提取人脸的某些属性值或者特定的特征。本文，将不会利用这么属性值，但是需要人为的标定。这和传统的人脸识别进程很类似。
首先是人脸检测，由于漫画人脸与普通的人脸不同的是，其人脸部分存在夸张成分，因此想要很好的识别出人脸的特征点是几乎不可能的。所以，作者提供的人脸数据库中包含了人脸的17的特征点。
第二步是人脸的alignment，本文是把人脸的眼睛鼻子和嘴变换在固定的位置。虽然利用了三种方法，但是还是错误的。
第三部是人脸特征。本文测试了两种方法，第一种是手工的特征提取，第二种是基于CNN的特征提取。手工提取的特征包括灰度图，LBP，Gabor和SIFT特征。对于CNN提取的特征，本文训练了VGG face模型。
第四步是匹配算法就是计算相似度的问题。本文利用nine subspace and metric learning的方法。

总体上来说，本文比较好的贡献就是提出的了一个新的漫画人脸数据库。