Transfiguring Portraits论文阅读笔记

Transfiguring Portraits论文阅读笔记

图1：我们系统的目标是让人们想象和探索在不同的国家，时代，发型，头发的颜色，年龄以及可以在图片搜索引擎中查询的其他内容的样子。上面的示例显示了一张输入照片（左），并自动合成了输入人的“卷曲的头发”（上排），“印度”（第二排）和“ 1930”（第三排）的外观。

摘要：

• 通过改变头发的颜色，发型，变老，处于不同的时代风格，或不同的国家或职业，人们看起来可能会发生巨大变化。其中一些可以改变外观，并激发创造性的改变，有些则不能，但是如果不进行实际尝试，我们怎么知道？我们提出了一个系统，该系统可以自动合成无数个外观。 用户输入一张或多张他或她的脸部照片（任意数量），文本查询感兴趣的外观（就像他们搜索图像搜索引擎一样），并以查询的外观将输入的人作为输出。我们的系统不是固定查询或数据集的数量，而是利用网上所有相关且可搜索的图像，估计输入的图像，并利用其生成复合图像。我们展示了大量在不受约束的成像条件下拍摄的示例照片。
• 关键字：人脸，大数据，野外，外观预测，基于互联网的合成，人像，富有想象力。

引言

• 在“美国人”节目中，苏联克格勃间谍只是通过改变发型，颜色和服装风格来改变身份。当我们去找发型师时，我们可以浏览一本杂志，上面有模特的照片，并指向想要尝试的那种风格的照片。有时我们会看到名人，想知道他们的风格是否适合我们。演员会更改外观以适合特定角色，例如凯特·布兰切特（Cate Blanchett）在“我不在那儿”中描绘了鲍勃·迪伦（Bob Dylan）的角色。但是，如何在不进行物理尝试的情况下如何预测外观变化是否合适？还是我们如何探索各种外表，例如针对失踪人员？本文是关于这种变化的自动综合。
• 其思想是让人们从图像中变形其外观，而不进行任何物理变化（图1）。我们没有解决在任何输入照片中人工渲染逼真的头发颜色和发型（例如从预先捕获的发型3D模型中）的难题，而是我们的主要想法是，互联网上数十亿人的照片已经捕获了所有可能的发型，颜色，和更多。例如，搜索“卷曲的金发”将返回该发型的数千种变体。受[Hays and Efros2007]的启发，该技术利用Internet来完成场景，我们创建了一种工具，该工具可以利用网络使人们以新的样式和场景进行探索和想象。【输入图像，利用网上的各种人像照片，自动合成不同发型，年龄，风格】
  

图2：我们系统的插图。系统将输入照片和文本查询**【卷发】**作为输入。文本查询用于搜索Web图像引擎，对检索到的照片进行处理以计算各种面部特征以及皮肤和头发面具，并根据它们与输入照片的匹配程度进行排名。最后，将输入人脸融合到排名最高的候选者中。

• 我们的系统将输入一张或多张人脸的照片作为输入，让用户搜索所需的任何描述，自动处理目标照片集，并将输入的脸孔呈现在查询的描述中。具体来说，它具有三个关键功能：
  • 1.自由格式查询。允许用户搜索任何内容，而不仅限于规定的样式集。这开启了探索它们在不同国家，时代甚至宇航员中的样子的可能性。【允许搜索任意内容的图像】
  • 2。Doppelganger sets。由于性别，种族和面部表情的差异，人们的面孔差异很大。由于脸部形状和轮廓不同，合成两个任意脸部可能会失败。但是，由于每个查询捕获了大量图像，这些图像捕获了许多不同的人和姿势，这使我们能够结合面部，年龄和性别识别算法，并找到面部与输入人的面部和头部形状最相似的人。我们称此类相似的人为“Doppelganger sets.”。然后我们可以将输入的头发替换为Doppelganger sets集合中的发型，并以新的样式想象输入对象。【结合性别、年龄检测，姿态估计，将最接近输入图像的人脸作为备选集合。】
  • 3。in the wild.，我们的目标是完全不受限制和未经校准的设置，允许您从输入中输入任何照片。个人照片集。自然地，互联网照片在成像条件（照明，姿势，照相机）中包含着很大的差异，我们在匹配和合成阶段充分利用了这些信息，从而可以最佳地选择候选人。【适用于输入任何个人的图像】
• 我们系统的关键技术组件是人脸处理（人脸和基准点检测和对齐），属性识别（年龄和性别），皮肤和头发遮罩计算，通过人脸和属性识别的Doppelganger sets估计以及匹配成像条件，并使用皮肤和发膜进行融合。完整的系统（如图2所示）是完全自动化的，并且设计时考虑了简单性。
• 此外，为了允许与年龄有关的查