Labeled Faces in the Wild: Updates and New Reporting Procedures

LFW：更新和新的报告程序

摘要

​ 自然条件下标记的人脸（LFW）数据库在无约束人脸验证等相关问题上的研究具有重要意义。虽然在描述数据库的原始技术报告中制定了谨慎的使用指南，但也出现了一些无法预料的问题。其中一个主要问题是如何在使用额外“外部数据”（即不属于LFW的数据）进行训练的算法之间进行公平比较。另一个问题是**需要对“无监督范式”有一个明确的定义，以及在这种范式下产生结果的适当协议。**本技术报告详细讨论了这些问题，并提供了一个新的描述，说明我们如何管理结果，以及我们如何根据算法使用的训练数据的详细信息将它们组合在一起。我们鼓励任何打算在LFW上发布结果的作者仔细阅读原始技术报告和本报告。

I 简介

​ 标记的野生人脸（LFW）数据库于2007年发布，并在马萨诸塞大学阿默斯特分校2007年的技术报告中进行了描述[6]。数据库的设计是为了研究一对人脸图像呈现的具体任务，根据图像是否描绘了同一个人，需要一个分类器将这一对分类为“相同”或“不同”[1]而原始技术报告根据视觉社区的反馈将这一问题称为配对问题，[2] 对于这个问题，我们采用了更广泛使用的人脸验证术语。

​ 本技术报告的主要目的是更新和澄清数据库使用的具体模式，以及与这些模式相关的详细协议。特别是，出现了一些问题，使人们不清楚应如何比较各种公布的方法，我们的主要目标是解决这一问题。此外，我们还将描述如何在LFW结果网页上显示方法 (http://vis-www.cs.umass.edu/lfw/results.html) 以及被纳入其中的标准。

本报告涉及的主要问题如下：

​ 1） 一个无监督范式的定义，迄今为止尚未由数据库管理员定义，但已成为公布结果的一个重要分领域。

​ 2） 结果类别数量的扩展，同时尽可能保持以前发布的结果的向后兼容性。这包括改变使用“外部”训练数据的协议定义，重点是外部数据是否使用相同/不同的标签信息。

​ 3） 讨论馆长确定结果是否符合在LFW网站上发布的条件的方法。

我们首先回顾原始评估协议，如原始LFW技术报告[6]所述。

II 原始评估协议

​ LFW中的训练和测试数据呈现为匹配或不匹配对。数据库组织和出处的其他细节可以在原始技术报告[6]中找到，我们这里不再重复。

​ 在最初的LFW技术报告中，只描述了两种不同的协议：图像限制协议和非限制协议。它们之间的本质区别在于，在无限制协议中，可以使用与图像相关联的名称来创建附加标记的训练示例。因此，如果图像A、B、C和D都是乔治·布什的，但是训练数据只包含匹配的对（A、B）和（C、D），那么在无限制范式下，可以添加额外的对（A、C）或（A、D）来增加可用于训练算法的数据量。在受图像限制的范例下，这是不允许的。有关最初定义的这些协议的更完整描述，请参阅原始LFW技术报告[6]。不过，请注意，自本技术报告发表之日起，我们将采用以下新的议定书定义。也就是说，这个报告在任何不同的细节上都取代了原来的报告。

A 数据库的意外使用

​ 数据库有两个未预料到的主要用途，这就需要新的定义和协议。这些是在“无监督”设置中使用数据库，以及使用外部训练数据来增加LFW的训练数据。

III “无监督”设置

​ 许多研究者对测试集中的匹配和不匹配对如何被一个没有在任何相同/不同的人脸对上调整或训练的特定分类器分离的问题感兴趣。

例如，可以将颜色直方图与成对的每个图像相关联，计算直方图之间的距离，并在此距离上设置阈值，将图像分类为“匹配”（小于或等于阈值）或“不匹配”（高于阈值）。在本例中，以及在许多其他感兴趣的例子中，选择了特征描述符和距离函数，而没有关于相同/不同对的任何标签信息。

这一基本思想产生了作者所说的“无监督范式”[1]–[3]，[7]–[10]，尽管在最初的LFW技术报告中没有讨论过这种范式，数据库管理员也没有对其进行定义。我们在这里的目标是提供一个标准的定义，这种范式符合普遍接受的定义，无监督学习。接下来，我们提出了一个用于LFW的标准无监督协议。请注意，这个协议与一些作者在以前出版的著作中定义它的方式相冲突。

A 无监督学习

​ 在无监督学习中，算法无法访问数据的类标签、这些标签的统计信息或生成这些标签的方法。在LFW的上下文中，这意味着无监督算法不能访问任何图像对是“相同”还是“不同”，因为这些是这个问题中的相关类标签。此外，该算法无法访问任何个人的姓名或唯一标识符，因为这将允许该算法通过配对姓名相同或不同的人的图像来创建“相同”和“不同”的图像对。最后，这是一个更微妙的问题，即使没有为任何特定图像提供标签，也无法告诉算法训练集中标签的分布。例如，可以通过找到一个阈值，根据每对图像之间的距离将训练数据分成两半，从而尝试利用这样一个事实：训练集中大约一半的对匹配，一半不匹配。虽然这种方法不使用显式的对标签，但它确实使用对标签的统计信息，因此在无监督的学习范式下是不允许的。

​ 当然，如果放松了无监督学习的严格要求，有很多方法可以使用弱标记数据、噪声标记数据、部分标记数据、使用标记统计数据等等，但是我们在结果中没有为这些范例创建类别。原因是，有太多的半监督学习的味道，它是不切实际的创造类别，所有这些。相反，我们专注于澄清在LFW背景下无监督学习范式的定义。

B LFW无监督范式：定义

​ 在无监督范式中，实践者应该准备一个两个图像的标量值函数$ (I, J) $，它返回一个标量，这样增加意味着图像和之间的距离更大或不同。然后，任何阈值产生一个二值分类器，使得当$ (I, J) <= \theta $时类标签是“相同的”，当$ (I, J) > \theta$时类标签是“不同的”。这个阈值可以改变以产生ROC曲线。然而，需要注意的是，无监督学习并没有提供生成特定阈值的方法，该阈值可用于定义分类器的标量值精度（随机选择的除外）。相反，正如我们下面描述的，我们采用ROC曲线下的面积（AUC）作为无监督范式的合适的标度值精度度量。

为了正确遵守本议定书，适用以下限制：

• 函数$f(\cdot ,\cdot )$不应具有使用“相同”和“不同”的LFW类标签的任何信息设置的参数。标签信息的某些用途是显而易见的。例如，我们不能通过最小化训练集上的经验误差来应用度量学习方法来确定函数$f(\cdot ,\cdot )$ 。然而，“标签”数据的其他用途更为微妙，但也是不允许的。例如，可以调整函数$f(\cdot ,\cdot )$，使一半的训练数据对大于某个值，一半小于，而不使用这些对的特定标签。然而，这并不是无监督学习，因为它利用了一半的训练数据是“匹配”的，一半是“不匹配”的。换句话说，它使用的是在无监督设置中不允许使用的标签信息。
• 如上所述，$f(\cdot ,\cdot )$不能使用标记有个人姓名或任何唯一标识符的图像进行训练，因为这等于在“相同”和“不同”对上训练分类器。
• 也不能通过查看训练结果或测试结果来设置阈值。一些作者认为，只要一种方法是以有监督的方式设置的分类阈值，那么将其命名为“无监督”是合理的。虽然我们同意该程序可能具有科学意义，但我们不同意它代表无监督学习，因此我们在无监督学习协议中不允许这样做 。

根据经验，任何声称无监督的程序都不应使用任何“对”图像，其中的对是从具有已知标签分布的分布中提取的。然而，无监督方法可以适当地使用：

• 在LFW的一个训练部分中统计个人面部图像，只要这些个人的身份不以任何方式使用。
• LFW之外的其他图像的数据，但同样，没有任何关于图像对是否具有相同身份的信息。例如，这将排除同一个人的图像集合。

C 无监督范式协议

在无监督LFW范式下，应遵循以下步骤顺序以遵循正确的协议：

• 定义两个图像的标量值函数$f(\cdot ,\cdot )$

• 对于测试集中的每对图像，计算$f(\cdot ,\cdot )$的值。

• 根据图像对的计算值对图像对进行排序。让这些值按排序顺序表示

$$f_{(1)},f_{(2)},\dots ,f_{(n)}$$

• 现在考虑一组等于 $$f_{(1)},f_{(2)}$$ 等的阈值。每个阈值将生成一个性能数字，从而生成ROC曲线。（请注意，应该有一个小于所有值的附加阈值，并将所有对分类为不匹配。

• 为了方便这一过程，我们提供了生成ROC曲线和计算ROC曲线下面积的代码。这些可以在LFW结果页面的相应子标题下找到。

​ 我们相信，遵循这些程序将在这个范例下提供公平的结果比较，同时保持与“无监督”的普遍接受的含义一致。注意，我们不区分只在LFW中使用未标记数据的无监督方法和使用外部非LFW未标记数据的方法。虽然这一区别可能会引起一些科学上的兴趣，但目前这一类别中没有足够的条目可以进一步区分。

​ 我们现在将注意力转移到与监督学习范式相关的问题上。

IV 使用外部训练数据的并发症

虽然最初的LFW协议是在假设研究人员只使用LFW本身的一部分训练数据的情况下描述的，但是许多研究人员对探索额外的训练数据源以提高性能感兴趣。这种“外部”培训数据的例子包括或可能包括：

• 使用标有关键点或部分（如眼角）的人脸（非LFW人脸或来自LFW的训练数据），以产生预对准算法，从而提高人脸验证算法的性能。
• 使用现成的人脸对齐算法，该算法经过非LFW标记数据的训练，因此隐式使用该非LFW数据。
• 使用（可能很大）一组来自LFW外部的未标记人脸图像来研究人脸图像的统计信息，并可能改进LFW的描述符。例如，使用一百万个非LFW人脸图像，可以使用高斯混合建模来定义一个基于人脸的视觉词典，以构建一个用于人脸验证的新特征表示。当然，通过分别为每个训练测试拆分使用LFW提供的训练集来实现相同的想法并不构成使用外部数据。
• 使用来自LFW外部的其他匹配或不匹配对，注意不要使用与给定LFW测试集相关联的任何同一个人。（在训练过程中，所有LFW协议都不允许使用出现在LFW测试集中的任何人的图像。）

A 关于人在循环中的简要说明

​ 请注意，没有批准的LFW协议允许手动标记测试图像中的部件、手动对齐测试图像或任何类型的“人在回路”处理。虽然这些系统确实具有科学价值，但它们不适合用于LFW的任何预定义协议。

B 外部数据类别

​ 因为有很多方法可以使用外部数据来提高人脸验证的性能，所以要找到一种公平比较算法的方法是很有挑战性的。当人们开始使用外部数据时，我们最初将受图像限制的结果分为两类：使用外部数据的结果和不使用外部数据的结果。不久之后，我们发现仅仅为了对齐而使用外部数据与使用外部数据来训练分类器有显著不同。此外，虽然许多这些区别适用于图像限制和非限制范式，但早期使用外部数据的大多数人只是报告图像限制协议的结果，因此我们决定将图像限制结果（而非非非限制结果）分为多个类别。最近，面对大量以各种不同方式使用外部数据的新报告，我们决定是时候重新审视我们的协议，并尝试改进它们。

C 协议列举

​ 从现在开始，我们计划报告六种不同协议的结果。下面讨论每个协议的细节，表1总结了每个协议允许的训练数据。

包括上面讨论的无监督协议，这六个协议是：

1） 无监督。

2） 无外部数据受限制的图像。

3） 无限制，无外部数据。

4） 图像受无标签外部数据限制。

5） 无限制，外部数据无标签。

6） 不受标记外部数据的限制。

​ 请使用这些确切的名称来参考协议，因为如果使用不同的名称，无疑会造成混淆。读者可能会注意到，不存在imagerestrictedwith labeled outside data类别。其原因是，对于任意标记的外部数据，图像限制和非限制范式之间不再有有用的区别，因此我们将它们分解为一个单独的类别。由于上面讨论了无监督协议，我们将继续讨论第二个协议。

D 无外部数据受限制的图像

​ 这是原始LFW技术报告中描述的原始“图像限制”协议。它假定不会使用来自外部LFW的数据，包括额外的图像，或诸如眼睛检测器、对齐方法或已接受外部数据训练的特征提取器之类的工具。[3]当然，预期将使用相同/不同的训练标签，但如上文第二节所述，不允许使用人们通过身份的传递性产生额外的训练例子。

请注意，一些工具，如人脸对齐算法或人脸特征检测器，在这种模式下可能是可用的，只要它们遵循以下规则：

• 他们不使用LFW以外的任何数据，即使是在最初的培训中。
• 它们不依赖任何附加注释，例如面部标志点的手动定位。
• 它们仅使用训练集开发，不使用任何测试数据。

​ 换句话说，这些工具在本质上必须是完全无监督的，并且它们所操作的无监督数据必须完全在LFW的训练集中。例如，用于面部对齐的凝结算法遵循这些规则[4]，[5]。其中的第一个[4]被用来制作LFW的“漏斗式”版本。第二个[5]被用于生产“深漏斗”版本的LFW。在这种范式下，这两个LFW的替代版本都可以合法地使用。但是，请注意，依赖于LFW之外的训练数据的LFW-a数据集不能在本协议下使用。

E 无限制，无外部数据

​ 与之前的协议一样，不允许外部数据，无论是图像形式还是预先训练的功能，如检测器或对齐算法。此协议与先前协议的唯一区别在于，可以通过利用与LFW训练数据相关联的人员的姓名来使用新的“相同”和“不同”图像对形式的附加训练数据。有关如何执行此操作的详细信息，请参阅原始技术报告。

F 图像受无标签外部数据限制

​ 此协议受映像限制，因为不允许使用与LFW训练映像关联的名称。但是，允许使用来自外部LFW的附加数据或某些类型的LFW注释，前提是：

• 外部数据不能包含关于两个图像是“相同”还是“不同”的任何信息。
• 外部数据不能包含任何个人的身份，因为这可以用来创建“相同”和

不同的一对。

外部数据可以合法地包括：

• 来自外部LFW的图像、补丁或其他数据源，包括没有名称或身份标签的人脸图像。这里一个微妙的问题是，是否应该允许无标签的面部电影。在这种情况下，通过跟踪视频中的一个人脸来生成一对“相同”的人脸是很简单的，因此，我们不允许根据该协议对人脸进行电影处理，即使它们没有特别标记。
• 来自LFW外部的数据源注释，只要这些注释不包括人名或其他允许创建“相同”或“不同”脸对的信息。
• LFW训练图像的注释，例如特征的位置或分割。

请注意，使用经过外部数据训练的对齐算法也构成了外部数据的（合法）使用。总之，只要该数据不允许创建LFW中找不到的相同/不同对，就可以使用任意附加数据。注意，在最终协议下允许额外的相同/不同对（不受标记外部数据的限制）。

G 无限制，外部数据无标签

该协议与前一个协议相同，只是LFW训练图像的名称可用于创建额外的相同/不同对，如第二节所述。注意，其他非LFW人脸图像的名称在此协议下是不允许的。

H 无限制，可以使用外部标注的数据

这是最允许的协议，允许对多种外部培训数据进行培训，包括：

• 标记为“相同”或“不同”的额外面孔对，只要它们不包含LFW测试集中的个体。
• 任何人脸图像的名称，无论是在LFW外部还是在LFW训练集中，只要它们不包含LFW测试集中的个人。
• 外部数据或LFW训练数据的任意注释，如特征定位、分段或属性。

IV. LFW结果页上的协议类型和结果摘要

​ 表I提供了LFW协议类型的摘要。我们将按这六个类别对绩效数字进行分组，因此发布结果的研究人员应使用表格最左边一栏中的术语，仔细指定报告的类别。

​ 为确保将结果放入正确的类别，作者应声明其培训数据不包含本报告中所述的任何不允许的数据类别。例如，如果一组实验是在无限制的无外部数据范式下完成的，那么作者可能会写道：

​ 我们在不受限制的环境中训练分类器，即从LFW训练集中创建所有可能的相同/不同对。但是，没有使用补充注释或其他标签，也没有使用来自外部LFW的图像、注释或其他数据源。因此，我们在无限制的无外部数据协议下发布结果。

​ 如果在阅读出版物时，我们无法确定使用了哪种协议，我们也将

• 联系作者澄清，
• 根据最允许的协议发布结果（不受标记外部数据的限制）
• 不要公布结果。

​ 在时间允许的范围内，我们将与作者一起澄清遵循哪些协议的问题。当然，如果作者能够尽可能清楚和明确地说明他们的面部验证系统是如何开发和训练的，那么这些问题将被最小化。

A. 本文件未定义的附加协议

​ 当然，作为LFW结果的管理者，我们欢迎发表更多的实验，使用其他协议来训练和测试LFW上的分类器，例如“human in theloop”协议。但是，如果这些协议不符合本文件中规定的程序，我们将无法将它们放在结果页上。对于我们来说，有太多类型的结果无法跟踪所有这些结果。我们鼓励作者对他们的替代方案给出详细的解释，并且最终，如果有足够的此类方案的例子，我们可以将其添加到我们的策划结果列表中。例如，这就是导致无监督协议的原因。

LFW 官网： http://vis-www.cs.umass.edu/lfw/results.html