总体来说,这篇文章是第一次将虹膜分割看作多任务学习任务(同时学习掩膜、瞳孔圆、虹膜外边界),通过共享权重参数,实现非理想环境下的准确分割。
整体网络基于编码-解码器传统U-Net架构,精度较高。
代码开源,作者老师人很nice,需要相关数据集发邮件即可,可以作为虹膜分割初学者很好的上手级文献。
(题外话:在此真心感谢一下北航王财勇老师,当时刚开始独自入门虹膜识别时候,几次发邮件申请使用数据集都很快回复(国外的很多数据集申请使用的并不顺利),包括之后我发的论文所用的分割方法也是这篇论文中的方法,真的是我的网络恩师(本人不是王老师学生,只发过邮件嘿嘿))
基于深度多任务注意网络的非合作虹膜识别完整准确分割
摘要
在非合作环境中捕获的虹膜图像往往存在噪声,对现有的虹膜分割方法提出了挑战。为了解决这一问题,本文提出了一种高效的基于深度学习的虹膜分割方法,命名为IrisParseNet。不同于以往许多基于cnn的虹膜分割方法只是遵循流行的语义分割框架来预测准确的虹膜掩膜,本文提出的方法是一种完整的虹膜分割解决方案,将虹膜掩膜和参数化的虹膜内外边界主动建模为统一的多任务网络,共同实现虹膜面具和参数化的虹膜内外边界。在此基础上,引入了精心设计的注意力模块,提高了分割性能。为了训练和评估所提出的方法,我们手动标记了三个具有代表性和挑战性的虹膜数据库,即CASIA。v4-distance UBIRIS。包括多种照明(近红外,可见)和成像传感器(远程和移动虹膜摄像机),以及各种类型的噪声。此外,还建立了几个统一的评估协议,以进行公平的比较。在这些新标注的数据库上进行了大量的实验,结果表明所提出的方法在各种基准上都达到了最先进的性能。此外,本文提出的虹膜分割方法可用于任何虹膜识别方法,并可显著提高非合作虹膜识别的性能。
索引词
虹膜分割,虹膜定位,注意力机制,多任务学习,虹膜识别
引言
…
一个完整的虹膜识别系统通常包括四个子过程:虹膜图像采集、虹膜预处理、特征提取和匹配。虹膜分割作为虹膜预处理的一部分,定义了用于特征提取和匹配的图像区域,因此直接影响整个虹膜识别性能。
最初的虹膜分割算法…
…
现有许多基于深度学习的虹膜分割方法只生成虹膜掩膜,没有得到参数化虹膜内外边界,意味着原始虹膜图像和检测到的虹膜面具无法归一化用于后续处理。虽然最近有一些方法提出在虹膜掩膜上施加圆形Hough变换来获得圆形虹膜边界,但所提供的定位精度仍然低于虹膜识别所需的标准。
综上所述,在一般的虹膜识别系统中,一个完整的虹膜分割应该包括两个部分:(1) 对虹膜和非虹膜区域(如不包括睫毛、眼睑、头发、眼镜、反射、阴影)进行像素级识别,得到二元虹膜掩膜,如下图2 (b) 所示;(2) 得到参数化的虹膜内外边界(如圆形、椭圆、活动轮廓、样条),如图2 © 所示。为了与一般语义分割问题的定义保持一致,我们将第一部分简称为虹膜分割,第二部分是虹膜定位。本文提出了一种简单有效的多任务注意网络,以同时实现准确的虹膜分割和定位。
A. 相关工作(简述)
(传统数学方法(间接))
传统虹膜分割:先定位(参数化内外边界)、后分割(排除睫毛等影响)。对于定位,许多方法将红魔边界近似为预定义几何形状(圆/椭圆),两种基线方法:Daugman积分-微分算子、圆形Hough变换。
Daugman积分-微分算子:对虹膜内外边界的原参数空间内寻找最大强度差值
Hough变换通过投票机制在二值边缘图像中寻找最优圆参数。
后续方法基于两者提升…
(基于像素(直接))
除了上述间接获取虹膜掩膜,还有一些基于像素的虹膜分割方法可以直接识别虹膜区域和非虹膜区域。通过利用单个像素的低层次视觉信息,如强度和颜色,从图像背景中对感兴趣的像素进行分类。具体而言,比较有前景的方法是使用常用像素级技术,如 Graph Cut[12],[13],对图像进行预处理,然后应用传统的分类方法,如支持向量机[26],对虹膜和非虹膜像素进行分类。
(深度学习)
最近,研究人员提出了用于虹膜分割的深度学习模型,特别是CNN,与基于像素方法类似,基于深度学习的虹膜分割方法直接估计虹膜掩膜,但利用更多高级语义特征,并以端到端方式自动学习最优特征和分类器,从而得到更高的分割精度。Liu 等首先提出了两种基于cnn的虹膜分割模型,称为层次卷积神经网络(HCNNs)和多级全卷积网络(MFCNs)。Hcnn采用了cnn图像分类的思想,将像素周围的分层补丁作为输入,对虹膜和非虹膜像素进行分类。与Hcnn不同,MFCNs基于全卷积网络(FCN),以整个虹膜图像为输入,然后直接预测虹膜掩膜。此外,将浅层和深层融合,形成一个多尺度网络,以更好地捕捉虹膜局部纹理和全局结构。这使得MFCNs在UBIRIS.v2和CASIA.V4-distance数据库的平均分割误差分别为0.90%和0.59%,达到了最先进的性能。在此之后,研究人员…
然而,如前所述,大多数基于cnn的虹膜分割方法只是预测虹膜掩膜,没有实现更重要的虹膜定位,导致基于cnn的虹膜分割与基于Rubber-Sheet的虹膜归一化之间的差距,进而影响了后续的特征提取和匹配。为了弥补这一差距,CNNHT[20]首先将圆形霍夫变换应用于虹膜面具,生成候选圆形虹膜边界,然后提出了两种质量度量方法,分别选择最佳的虹膜内外边界。[21]、[22]中也有类似的方法。虽然这些方法在正常情况下是有效的,但当面对分割不良或高度不规则的掩模时,它们往往会出现严重的性能下降,如图2所示。因此,需要更准确、鲁棒、完整、优雅的虹膜分割解决方案。
动机和工作
我们的工作是为了使用基于深度学习的方法进一步推进完整的虹膜分割。为此,考虑以下三个方面:
1)如何在不依赖虹膜的情况下实现虹膜定位?
2)如何获得一个简单而有效的基线模型?
3)如何利用多个空间先验约束来提高分割性能?
(解决思路)
&