哇哇的博客

文章提出 Wav2Lip，基于音频合成对应唇形视频。文章提出实际视频中的不同姿态、尺度、光照的变化，而生成的视频也需要无缝融合到目标视频中。而一些模型可以在静态图像上表现比较好，但是在视频上的效果就不行。首先提出使用一个唇形同步判别器解决唇形不同步的问题（使用基于 SyncNet 的强大的唇同步判别器，强迫生成器生成精确、实际的唇部移动）；另外提出一个新的评估标准精确测量非约束性视频下的唇形同步性能（使用 Syncnet 对视频中的唇部同步进行评估）。

年龄估计的一个问题是同样年龄的不同人可能会有较大的外观差异。年老的人可能看上去很年轻，一些年轻人也可能看上去比较老。而另一个问题则是当前的模型都太大了，大小甚至超过500MB，无法在端侧移动设备上部署运行。SSR-Net（Soft Stage wise Regression Network） 提出网络非常大的原因是最后的分类层占据了大量的参数，因此提出了一种级联分类的年龄估计方法。通过将原来的需要输出 100 个分类类别数降低到设定数目，并使用多个层级进行分类，对每个层级进行均值计算来得到年龄估计。

我们在之前介绍过一篇由旷世和新加坡国立联合提出的用于年龄估计的论文C3AE，模型只有0.3MB，具备较大的实用价值。但是人脸年龄受种族、肤色、地区等因素的影响，不同的人在同一年龄有不同的外观表现，对所有人脸使用同一套参数进行年龄估计可能会造成估计偏差。MetaAge 提出年龄估计还应当考虑每个人的个人身份属性信息来获得一个更精准的年龄估计。在此基础上使用了元学习的概念进行了包装。.........

年龄估计是一个经典的计算机视觉问题。虽然有许多深度神经网络（例如 AlexNet、Vggnet、Resnet等）被提出，但是它们都不适用于端侧或者移动设备。文章设计了一个轻量化的年龄估计网络 C3AE（Compact yet efficient Casade Context-based Age Estimation model）来解决移动设备上的年龄估计问题。当前的年龄估计方法，可以大致分为基于结合分类与回归和分布估计两类方法。

文章基于 MobileNet 系列网络，提出了一种轻量化的人脸识别网络 MobileFaceNet。文章首先分析了通用的轻量化的特征提取网络在人脸识别上效果不佳的原因，然后基于此进行了一系列调整，在人脸识别数据集上取得了较好效果。

人脸检测在许多任务得以应用。例如在人脸属性判断（表情识别、年龄估计）、人脸识别等任务中，人脸检测都是一个前置任务。一般的人脸检测就是独指获取人脸 box 框这一单一任务，而作者提出将人脸检测、人脸对齐、像素级人脸解析放到一个任务，进而提升各个部分的性能。同时和通用目标检测相比，人脸检测在宽高比方面变化更小，而在尺度方面差异较大（从小的几像素到大的几千像素）。手动标注了人脸数据集中的 5 个人脸关键点（左右眼睛、鼻尖、左右嘴角），并发现这 5 个关键点提升了人脸检测性能；...