WebCaricature: a benchmark for caricature face recognition
WebCaricature: a benchmark for caricature face recognition
collection process
卡通图和真实图收集好后,通过编写程序来剔除相同的,也就是通过提取任意两幅漫画或照片的特征来完成的,选择了具有较大相似性的一对特征,然后手动检查是否是相同图片。
labeling process
- 卡通图片的label标记是人工的
- 真实图片的label是通过face++软件提供的面部地标检测软件来标记的。它可以标记83个点,但我们选取了第2-第17的点
Evaluation Protocos
Caricature Verification
漫画验证的任务是验证漫画和照片是否来自同一个人。
Caricature Identification
pass
Recognition Framework and Challenges
step1:Caricature Face Detection and Landmark Localization
- 在检测方面,由于漫画在艺术风格和面部外观上有很大的差异,与照片中的真实面孔相比,更难找到漫画的检测模式。
- 由于漫画人脸与普通的人脸不同的是,其人脸部分存在夸张成分,因此想要很好的识别出人脸的特征点是几乎不可能的。所以,作者提供的人脸数据库中包含了人脸的17的特征点
step2:Face Alignment
在这个任务中,目标是使眼睛、鼻子或嘴在两幅剪裁的面部图像上出现在相同的位置,从而使这两幅图像具有可比性。
Three alignment methods:
- 1.基于眼睛定位的方法先旋转图像,使两只眼睛对齐到水平位置;然后调整图像大小,使眼睛距离达到75像素;裁剪区域的定义是使眼睛中心到包围框(bounding box 160*200)的上方70像素,并使眼睛中心到包围框的左右两侧80像素。
- 2.基于地标的对齐方法。前两步骤如上,然后,在这17个标有标记的地标上,分别划出40×40的小区域。
- 3.基于bounding box。根据面部轮廓(前4个landmark),然后将包围盒(bounding box 160*200)的宽度和高度放大1.2。
然而,我们发现,在漫画识别中,由于许多面部部分被夸大和扭曲,即使使用了对齐,漫画仍然可能出现不对齐。
step3:Face Feature Extraction
人脸特征提取的目的是提取鲁棒性和鉴别性的人脸特征。但漫画特征提取的一个主要挑战是消除不同绘图风格之间的差异。(也被确定为模态变化,因为照片和漫画可以从两种模式中看到。)
two kinds of feature extraction methods:
- 手工特征提取:local binary patterns (LBP) , Gabor, scale invariant feature transform (SIFT)
- CNN:VGG-Face model (在本实验中,漫画和照片的特征提取过程是一样的。然而,研究者们提倡设计更复杂的特征提取方法来解决这两种形式的变化和错位问题。)
step4:Matching Algorithm
计算一幅漫画和一张照片中两组特征的相似性,以确定它们是否来自同一个人。
- **single modality based methods:**principal component analysis(PCA), kernel discriminant analysis (KDA), keep it
simple and straightforward metric (KISSME), the information-theoretic metric learning
(ITML), the large margin nearest neighbor (LMNN) - cross-modality based methods: canonical correlation analysis (CCA), multi-view
discriminant analysis (MvDA), coupled spectral regression (CSR),kernel coupled spectral regression (KCSR)
5 Baceline Performance
- verfication settings:FAR=0.1%;FAR=1%;AUC
- identification settings: rank-1;rank-10