WebCaricature: a benchmark for caricature face recognition整理

最新推荐文章于 2020-01-15 16:58:42 发布

xinzi2018

最新推荐文章于 2020-01-15 16:58:42 发布

阅读量727

点赞数

分类专栏：深度学习文章标签： webcaricature

本文链接：https://blog.csdn.net/weixin_42105640/article/details/87366365

版权

10 篇文章 0 订阅

订阅专栏

WebCaricature: a benchmark for caricature face recognition

卡通图和真实图收集好后，通过编写程序来剔除相同的，也就是通过提取任意两幅漫画或照片的特征来完成的，选择了具有较大相似性的一对特征，然后手动检查是否是相同图片。

漫画验证的任务是验证漫画和照片是否来自同一个人。

pass

在这里插入图片描述

在这个任务中，目标是使眼睛、鼻子或嘴在两幅剪裁的面部图像上出现在相同的位置，从而使这两幅图像具有可比性。

Three alignment methods:

1.基于眼睛定位的方法先旋转图像，使两只眼睛对齐到水平位置;然后调整图像大小，使眼睛距离达到75像素;裁剪区域的定义是使眼睛中心到包围框(bounding box 160*200)的上方70像素，并使眼睛中心到包围框的左右两侧80像素。
2.基于地标的对齐方法。前两步骤如上，然后，在这17个标有标记的地标上，分别划出40×40的小区域。
3.基于bounding box。根据面部轮廓（前4个landmark），然后将包围盒（bounding box 160*200）的宽度和高度放大1.2。

然而，我们发现，在漫画识别中，由于许多面部部分被夸大和扭曲，即使使用了对齐，漫画仍然可能出现不对齐。
在这里插入图片描述

人脸特征提取的目的是提取鲁棒性和鉴别性的人脸特征。但漫画特征提取的一个主要挑战是消除不同绘图风格之间的差异。（也被确定为模态变化，因为照片和漫画可以从两种模式中看到。）
two kinds of feature extraction methods：

手工特征提取：local binary patterns (LBP) , Gabor, scale invariant feature transform (SIFT)
CNN：VGG-Face model （在本实验中，漫画和照片的特征提取过程是一样的。然而，研究者们提倡设计更复杂的特征提取方法来解决这两种形式的变化和错位问题。）

计算一幅漫画和一张照片中两组特征的相似性，以确定它们是否来自同一个人。

**single modality based methods:**principal component analysis(PCA), kernel discriminant analysis (KDA), keep it
simple and straightforward metric (KISSME), the information-theoretic metric learning
(ITML), the large margin nearest neighbor (LMNN)
cross-modality based methods: canonical correlation analysis (CCA), multi-view
discriminant analysis (MvDA), coupled spectral regression (CSR),kernel coupled spectral regression (KCSR)

关注