使用深度置信网络进行特征提取代码实现 python_基于多任务深度学习的铝材表面缺陷检测...

摘要：针对工业铝材缺陷检测中由缺陷样本稀疏带来的训练过拟合、泛化性能差等问题,提出一种基于多任务深度学习的铝材缺陷检测方法.先基于FasterRCNN设计一个包含铝材区域分割、缺陷多标签分类和缺陷目标检测的多任务深度网络模型;再设计多任务损失层,利用自适应权重对各项任务进行加权平衡,解决了多项任务训练中的收敛不均衡问题.实验结果表明,在有限的数据集支持下,相较于单任务学习,该方法能够在保持分割任务的均交并比(MIoU)指标最优的情况下,分别提高多标签分类和缺陷目标检测的准确率,解决了由铝材缺陷检测样本少引起的检测精度较低的问题.对于多任务应用场景,该模型能够同时完成三个任务,减少推断时间,提高检测效率.

１ 引 言

随着我国制造行业水平和人民消费水平的不断 提升,制造业对工业产品的质量有了更高的要求,同时产品表面质量对产品的直接使用和再加工都有重要影响.目前,铝型材行业已实现了生产环节的自动化,但在质检环节仍依靠人工目视检测,劳动强度大且效率低.因此,在产品线的质量控制阶段引入机器视觉和智能检测的方法可准确识别产品表面缺陷,在工业流水线质检环节实现自动化具有重要意义[１].

缺陷检测任务通常有多种形式,即分割、分类和 检测.分割是对图像中的像素进行分类,王森等[２]融合了小波边缘检测和多尺度结构化森林,提高了表面裂纹分割的精度;张芳等[３]基于语义分割网络(UＧ Net)[４]实现了对纳米颗粒的自动分割.分类是常见的缺陷检测任务,Zhang等[５]基于统计方法和光谱测量提取了钢带缺陷的特征向量,并基于支持向量机搭建了在线分类系统;王理顺等[６]基于深度卷积网络 GoogLeNet[７]训练缺陷分类模型并设计了织物缺陷在线分类算法.检测是对图像中的缺陷进行定位和分类,通常难度较大,常海涛等[８]基于目标检测框架 Faster RCNN[９] 实现 了 工 业 CT (ComputedTomography)图像的缺陷检测;Liong等[１０]基于实例分割框架 MaskRCNN[１１]搭建了用于皮革的自动缺陷检测和分割系统.上述研究都是基于单一任务设计,实现了较高准确率的缺陷检测算法,但未考虑工业场景中部署深度学习时遇到的数据稀疏问题, 样本数据少会引起检测模型训练过拟合,导致泛化性能差,最终影响缺陷检测的准确率.

近年来,多任务学习[１２Ｇ１３]越来越受重视,可共享 信息,提高泛化性能,广泛应用于深度学习各研究领 域.Zhang等[１４]基于循环卷积网络的文本分类任 务中引入了多任务学习,设计了三种不同的信息共 享机制,取得了较好的分类结果;Wan等[１５]基于自 动相关性来学习所有任务特征之间的相关性,以预 测阿尔茨 海 默 症 神 经 影 像 测 量 数 据 的 认 知 结 果; Yuan等[１６]提出了一种基于 Beta过程的多任务稀 疏模型,以学习动作识别字典.上述研究将多任务 学习机制分别应用于文本分类、医学图像处理和动 作识别等领域,取得了不错的成果,但这些方法关注 的目标任务与工业图像缺陷检测不同,其算法流程无法直接应用于缺陷检测任务,对多任务学习机制在缺陷检测方向上的应用仍需探索.

工业缺陷数据集标注成本高导致训练数据量较 少,少量数据在训练单一缺陷检测任务时,检测模型复杂而样本稀少,容易发生过拟合,造成泛化性能低,因此在测试时检测准确率不高.针对这一问题, 本文提出一个基于多任务深度学习的缺陷检测方法,构建多任务网络模型,引入铝材金属表面分割任务、缺陷图像多标签分类任务和铝材缺陷目标检测任务,共享多个任务间的特征提取网络参数,利用任务间的互相约束来降低过拟合风险,从而提高缺陷检测的精度和效率,最后使用铝材缺陷数据集进行实验验证.

２ 基于多任务深度学习的铝材缺陷检测

研究的问题

研究的问题是利用多任务深度学习机制检测铝材缺陷,其中包含铝材区域分割任务、缺陷图像分类任务和铝材图像缺陷检测任务.

铝材的缺陷检测通常包括分类任务和检测任务.分类任务要解决图像包含哪些缺陷的问题,一幅图像可能包含多种缺陷,所以铝材缺陷图像分类属于多标签分类.检测任务要解决图像中缺陷的分类和定位问题,属于目标检测范畴.除此之外,由于光照不均和拍摄背景复杂,铝材缺陷图像在检测过程中易受背景干扰,因此增加铝材区域分割任务,提取的铝材区域可用于排除区域外的检测目标,提高准确率.

受数据集数目的限制,单一任务下的训练模型 常由于过拟合而在测试集上无法达到较高的检测性 能,而多任务学习是同时学习多个相关任务的过程, 旨在利用任务间的相关性来提高泛化性能,共同学习这些监督任务,可在学习过程中共享特征信息,平衡各自任务的噪声差异,每项学习任务可对其他任务进行约束,从而降低了单任务过拟合的风险,最终提升全部或部分学习任务的性能[１７].多任务学习机制如图１所示[１２].

模型结构

为利用多任务学习机制来提升缺陷检测精度, 基于２．１节三项任务,设计了一种用于铝材缺陷检 测的多任务深度网络模型,如图２所示.

设计的深度网络模型基于二阶目标检测架构FasterRCNN[９]进行拓展.模型由四部分组成,一个用于共享提取特征的主干网络和分别用于金属区域分割、多标签分类和缺陷目标检测的三个单任务分支网络.本节主要介绍特征提取主干网络.

铝材图