Ocular Recognition Databases and Competitions: A Survey

转载请注明作者和出处： http://blog.csdn.net/john_bh/

论文链接:Ocular Recognition Databases and Competitions: A Survey
作者及团队：
会议及时间： Arxiv 201911
code:

Abstract

虹膜和眼周区域作为生物特征的用途已得到广泛研究，这主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时眼周区域的使用。除了提供有关个人身份的信息之外，还可以探索从这些特征中提取的特征，以获得其他信息，例如个人性别，吸毒的影响，隐形眼镜的使用，欺骗等。这项工作对为眼识别而创建的数据库进行了调查，详细介绍了它们的协议以及如何获取它们的图像。我们还将描述和讨论最流行的眼识别比赛（竞赛），重点介绍提交的算法，该算法仅使用虹膜特征并融合虹膜和眼周区域信息即可达到最佳结果。最后，我们描述了将深度学习技术应用于眼的一些相关作品认识并指出新的挑战和未来的方向。考虑到存在大量的眼科数据库，并且每个数据库通常都是针对特定问题而设计的，因此我们认为这项调查可以对眼科生物识别技术的挑战提供广泛的概述。

1.Introduction

由于抗击恐怖主义和使用社交网络等各种应用，一些公司和政府为生物识别技术研究提供了资金，这表明这是具有战略意义的重要研究领域[1，2]。生物识别系统利用模式识别技术来提取人的独特信息/特征。这样的签名被存储并用于比较和确定人群中人样本的身份。由于生物识别系统要求鲁棒性以防止采集和/或预处理失败以及准确性高，因此识别个人的挑战和方法不断发展。

基于他们的身体或行为特征来识别一个人的方法尤为重要，因为这种特征不会丢失或遗忘，就像密码或身份证可能会发生的那样[3]。在这种情况下，对于非侵入性技术，将眼信息用作生物特征是很有趣的，而且因为生物医学文献表明虹膜是最独特的生物特征来源之一[4]。

眼部生物特征识别中最常见的任务是识别，可分为验证（1：1比较）和识别（1：n比较）。同样，可以以两种不同的协议（称为封闭世界和开放世界）执行识别。在封闭世界协议中，训练和测试集中会出现一个人的样本。开放世界协议必须在训练和测试集中包含来自不同主题的样本。识别过程通常在封闭世界协议上执行（开放场景除外，开放场景中的冒名顶替者仅在测试集中，即那些不应该与画廊集中的任何主题匹配的人），而可以进行验证两者都执行，这是此设置中采用的开放世界最常见的协议。除了识别和验证外，眼部生物特征识别还有其他任务，例如性别分类[5]，欺骗[6]和活跃度[7]检测，左右虹膜图像的识别[8]，眼部检测[9， 10]，虹膜/巩膜分割[11、12]和传感器模型识别[13]。

在近红外波长（NIR）受控环境下的虹膜识别显示出令人印象深刻的结果，并且如几篇著作所报道[3，14–17]可以被认为是一项成熟的技术。在不受控制的环境中捕获眼底图像是目前的一种技术最大的挑战[18，19]。如图1所示，此类图像通常会出现由照明，遮挡，反射，运动模糊等。因此，为了在这些情况下提高生物识别系统的性能，最近的方法仅使用从眼周区域提取的信息[20-22]或将其与虹膜特征融合[23-26]。

如图2所示，术语“眼周区域”与眼睛周围的区域相关，由眉毛，睫毛和眼睑组成[36-38]。通常，当虹膜区域的质量较差时，使用眼周区域，通常在可见波长（VIS）图像中或面部的一部分被遮挡（在面部图像中）[22、36]。在文献中，关于眼周区域，有一些作品保留了虹膜和巩膜区域[18、22、39]，还有一些将虹膜和巩膜区域移除了[21、40、41]。

尽管文献中有几项描述眼识别方法的调查[3、4、29-35、42、43]，但这类调查并未专门针对数据库和竞赛。表1总结了这些调查中描述的眼科数据库/竞赛的数量。

Wildes [4]提出了关于虹膜识别的首批调查之一，他研究了虹膜识别生物识别系统以及此类系统的设计和操作问题。 Bowyer等 [3]描述了虹膜生物识别技术的历史和最新发展，重点是分割和识别方法。针对远程虹膜识别，[33]中描述的文献综述提出并描述了远距离系统的虹膜识别方法。 Alonso-Fernandez等 [31，32]仅关注眼周生物特征的方法进行了调查，而Rattani和Derakhshani [34]描述了使用VIS图像应用于眼周区域，虹膜和结膜脉管系统识别的最新方法。最后，Nigam等。 [30]详细描述了特定主题的方法，例如虹膜采集，预处理技术，分割方法，以及特征提取，匹配和索引方法。

这项工作描述了使用虹膜和/或眼周特征进行生物识别的眼动数据库和竞赛（或竞赛）。我们根据组成它们的图像介绍数据库，即NIR，VIS和交叉光谱以及多峰数据库。我们还详细介绍了诸如图像波长，捕获环境，跨传感器，使用的数据库大小和眼部模式以及用于图像采集和数据库构建的协议等信息。

本文的主要贡献如下：（i）我们调查并描述了现有眼图数据库和图像采集协议的类型； （ii）对创建这些数据库的应用和目标的详细描述； （iii）对主要和最受欢迎的眼识别比赛的讨论和描述，以说明每种挑战中的方法策略；并且（iv）我们绘制了新的挑战性任务和场景
眼生物识别。

据我们所知，这是第一个专门针对眼数据库和竞赛的调查。因此，我们相信它可以提供这些年来眼识别的挑战，文献中使用的数据库以及针对不同场景的最佳表现方法的概述。

这项工作的其余部分安排如下。在第2节中，我们将详细介绍眼数据库，将其分为三类：NIR，VIS和交叉光谱数据库以及多模式数据库。在第3节中，我们将对使用虹膜和眼周区域信息的眼识别竞赛进行调查和讨论，并描述排名靠前的方法。第4节介绍了将深度学习框架应用于虹膜/眼周识别以及与眼生物特征有关的其他任务的最新工作。最后，第五节指出了未来的挑战和方向，第六节给出了结论。

2. Ocular Database

在本节中，我们将在多个方面回顾对象检测的历史，包括里程碑检测器，对象检测数据集，指标以及关键技术的发展。

当前，存在各种眼图数据库，它们是在不同的场景下和出于不同的目的而构建的。这些数据库可以根据VIS和NIR图像进行分类，并根据图像获取的过程分为受控（合作）和非受控（非合作）环境。受控数据库包含在光照，距离等受控条件下捕获的图像和重点。另一方面，不受控制的数据库由在不受控制的环境中获得的图像组成，通常会出现一些问题，例如散焦，遮挡，反射，偏角等。包含以不同波长捕获的图像的数据库称为交叉光谱，而具有由不同传感器获取的图像的数据库称为交叉传感器。本文引用的所有数据库的摘要以及有关如何使用它们的更多信息的链接可以在www.inf.ufpr.br/vri/publications/ocularDatabases.html。

在本节中，将介绍眼科数据库并将其分为三个小节。首先，我们描述仅包含NIR图像的数据库以及合成虹膜数据库。然后，我们介绍由在VIS和跨光谱场景下捕获的图像（即来自同一受试者的VIS和NIR图像）组成的数据库。最后，我们描述了多模式数据库，其中包含来自不同生物特征（包括虹膜和/或眼周）的数据。

2.1. Near-Infrared Ocular Images Databases

通常使用NIR波长捕获的眼图来研究虹膜中存在的特征[14、15、28]。 随着更深的色素虹膜展现出丰富而复杂的特征[44]，大多数可见光被黑色素吸收，而更长波长的光被反射[3]。 还可以使用这种数据库进行其他研究，例如创建合成虹膜的方法[45、46]，虹膜识别和活力检测中的漏洞[47-50]，隐形眼镜在虹膜识别中的影响[51-54] ，模板老化[55，56]，饮酒的影响[57]和通过虹膜进行性别识别的研究[58]。 这些和其他研究使用的数据库在表2中进行了描述，并在本节中进行了详细介绍。 来自NIR数据库的一些眼部图像样本如图3所示。

CASIA（中国科学院）创建并提供了文献中最早的虹膜数据库之一.2002年提供了第一个版本CASIA-IrisV1.CASIA-IrisV1数据库包含756张108眼的图像尺寸为320 * 280像素。用自制的虹膜照相机将NIR图像分为两部分[28]。在2004年发布的第二个版本（CASIA-IrisV2）中，作者包括了由OKI IRISPASS-h和CASIA-IrisCamV2传感器捕获的两个子集。每个子集具有1200个图像，这些图像属于60类，分辨率为640 * 480像素[28]。该数据库的第三版（CASIA-IrisV3）于2010年推出，具有来自700多个个体的22,034张图像，分布在以下三个子集中：CASIA-Iris-Interval，CASIA-Iris-Lamp和CASIAIris-Twins 。最后，CASIA-IrisV4是CASIA-IrisV3的扩展，也于2010年推出，它由六个子集组成：三个是先前版本，另一个是三个新子集：CASIA-Iris-Distance，CASIA-Iris-Thousand和CASIA-Iris -Syn。所有六个子集一起包含54601眼图像，它们属于1800多个真实对象和1000个合成对象。每个子集将在下面根据[28]中描述的规范进行详细说明。

CASIA-Iris-Interval数据库具有在近红外LED照明下捕获的图像。以这种方式，这些图像用于研究虹膜特征中包含的纹理信息。该数据库由2639张图像组成，该图像分为两部分，分别来自249个主题和395个类别，分辨率为320 * 280像素。

来自CASIA-Iris-Lamp数据库的图像是由非固定式传感器（OKI IRISPASS-h）采集的，因此个人可以用自己的手中的传感器收集虹膜图像。在采集过程中，由于瞳孔的收缩和膨胀，灯会被打开和关闭以产生更多的组内变化，从而产生非线性变形。因此，该数据库可用于研究虹膜标准化和鲁棒虹膜特征表示等问题。在一个区域中收集了来自411个对象的总共16212张图像，分辨率为640 * 480像素。

在北京一年一度的双胞胎节上，收集了100对双胞胎的虹膜图像，以形成CASIA-Iris-Twins数据库，从而可以研究双胞胎的虹膜模式之间的相似性。该数据库包含使用OKI IRISPASS-h相机在单个区域中以640 * 480像素的分辨率捕获的3183张图像（200个主题的400个类别）。

CASIA-Iris-Thousand数据库由IKEMB-100 IrisKing相机在单个部分中收集的来自1000个受试者的20000张眼图组成，分辨率为640 * 480像素[66]。由于主题众多，因此该数据库可用于研究虹膜特征的唯一性。该数据库中发生的类内差异的主要来源是由于镜面反射和眼镜。

CASIA-IrisV4的最后一个子集称为CASIA-IRIS-Syn，它由虹膜图像组成，该虹膜图像具有从CASIA-IrisV1子集自动合成的虹膜纹理。生成过程采用了Tan等人提出的分割方法。 [67]。引入了诸如模糊，变形和旋转等因素，以创建一些类内变化。该数据库总共具有10000个属于1000类的图像。

ND-IRIS-0405 [15]数据库中的图像是使用NIR照明用LG2200成像系统捕获的。该数据库包含来自356位受试者的64980张图像，并且有几副受试者戴隐形眼镜的图像。即使是在受控环境下捕获的图像，也可能会发生某些情况，例如模糊，虹膜区域的一部分被遮挡以及像偏角之类的问题。 ND-IRIS-0405是ICE 2005 [14]和ICE 2006 [15]竞赛中使用的数据库的超集。

ICE 2005数据库是为“ Iris挑战评估2005”竞赛创建的[14]。该数据库包含来自132个受试者的总共2953个虹膜图像。图像是使用完整的LG EOU 2200采集系统在NIR照明下捕获的，分辨率为480 * 640像素。未通过采集系统自动质量控制的图像也被添加到数据库中。分别针对左眼和右眼进行实验。比赛的结果可以在[14]中看到。

ICE 2006数据库具有使用LG EOU 2200采集系统采集的图像，分辨率为480 * 640像素。对于每个受试者，每个会话中每只眼睛的3张图像进行了两次“拍摄”，总共12张图像。成像会议在2004年至2005年的三个学期中举行。该数据库包含来自240个受试者的总共59558张虹膜图像[15]。

6.结论

这项工作提出了对数据库和眼识别竞赛的调查。对于每个数据库，我们描述了诸如图像采集协议，创建年份，采集环境，图像波长，图像和主题数以及模态等信息。对数据库进行了描述，并将其分为三个小节：NIR，VIS和交叉谱以及多模式数据库。这样的数据库包括用于不同应用的虹膜和眼周图像，例如识别，活跃度检测，欺骗，隐形眼镜检测，合成虹膜创建等。我们还介绍了虹膜和眼周识别方面的最新竞赛，并介绍了取得最佳结果的方法。详细介绍了仅使用虹膜特征以及更好的总体结果（即同时使用虹膜和眼周信息）的顶级方法。最后，我们回顾了将深度学习框架应用于眼识别任务的近期和有前途的工作。

我们还描述了解决这些问题的最新挑战和方法，指出了眼生物识别技术的一些未来方向和新趋势。在这种情况下，可以突出一些研究方向，例如，使用（i）在不受控制的环境中拍摄的图像[18、19、39]，（ii）从移动设备在VIS波长[19， 39]，以及（iii）跨谱图像[77，138]。为了研究深层虹膜和眼周特征的可伸缩性以及通过智能手机获得的非常接近真实的场景，与当前数据库相比，创建一个包含更多设备/传感器和对象的数据库可能会很有趣[19， 63，78，79，83]，因为就传感器（CSIP）而言，最大的一幅图像仅由7种不同的设备从50个对象中捕获了2,004张图像，而对于对象（VISOB），最大的数据库则具有从158136个图像中捕获的158136张图像仅3个不同的传感器即可拍摄550个对象。机器学习技术在分割，特征提取和识别中的应用仍然可以得到很大的探索[43]，因为使用它们已经获得了可喜的成果[6-8、132、133]。其他值得关注的方向是远距离的眼识别，活动性检测，多模式眼生物特征识别和软生物特征识别，可以用来改善眼生物特征识别系统的性能。

7.致谢

这项工作得到了国家科学技术发展委员会（CNPq）的拨款（批准号428333 / 2016-8、313423 / 2017-2和306684 / 2018-2）以及改进高等教育人员协调的支持。 （CAPES）（社会需求计划），两个资助机构均来自巴西。