Ambiguous Surface Defect Image Classification of AMOLED Displays in Smartphones

前言

发表在期刊IEEE Transactions on Industrial Informatics上的文章，该期刊是工程技术类的1区期刊，top级别，接收率在15%左右。

Ambiguous意思是模糊不清的，有二义性的。这篇文章研究的内容就是智能手机显示屏表面缺陷的分类，这些缺陷可能是“真”缺陷(real defect)，比如显示屏表面真真切切出了一个坑；也可能是“假”缺陷(fake defect)，比如说仅仅是由于光照或者灰尘等导致采集到的显示屏图像看起来像有缺陷似的。真和假就对应着文章标题中的ambiguous。该篇博文只对作者提出的模型等关键部分做一个整理，但愿能够对正在读此文的童鞋有些许帮助。

摘要

在这篇文章中，作者针对在智能手机中广泛使用的显示屏存在着的各式形状含糊不清的缺陷提出了一种分类方法。由于缺陷的相似性和多样性导致各式各样的缺陷很难恰当地区分，仅能通过有经验的工人进行人工观测。为了解决这个问题，作者提出了一种新的滤波方法，该方法能够有效地将缺陷前景区域从背景中分离开来。对采集到的缺陷图像应用该方法，基于wrapper特征选择方法提取重要特征。该模型在真实数据集上取得了良好的分类结果。

wrapper-based我不知道该怎么翻译。实际上这里的filter不应该翻译成滤波，毕竟我们并没有在频率域上进行操作，但原理是比较相近的，方便起见故称作滤波。

简介

套话不多说，这篇文章的贡献有如下几点：

1.作者提出了一种新的滤波方法，该方法在显示屏表面局部采光变化、有结构化背景纹理等情形下依然能够得到一个鲁棒统一的缺陷表示（特征向量）；

2.提出了一种特征组合，在该特征组合下没有信息冗余，并且结合随机森林应用该特征取得了很好的分类结果；

3.通过在生产线上采集到的数据集验证提出的模型分类效果显著。

分类模型

预处理

为了从候选图像中抽取特征，需要恰当地将前景缺陷区域从背景中分离出来，分离过程中应该保证尽可能少地丢失边缘、形状和强度（图像灰度值）信息。然而，由于各式各样的纹理图案、不同的视觉系统、局部光照变化等原因，导致很难提取出理想的缺陷前景。为了解决该问题，作者提出了本文的一大重要内容，即所谓的邻域不同滤波(Neighboring Difference Filter, NDF)，该方法在不同的条件下均能得到鲁棒统一的缺陷表现。（ 对此我持怀疑态度，NDF有太多的参数需要人工设定）。

NDF的主要思想就是将邻域区域的强度与有策略放置的间隙空间模板进行比较，从而强调不同性移除相似性。这一点和数字图像处理中的滤波可做相同的理解，NDF方法实际上就是设计了一个包含很多零的模板，将模板与待选区域进行相乘，零位置对应的元素灰度值就被置为0了，而模板中零的位置往往是距离当前坐标较近的区域，而较近区域往往是相似程度比较高的区域，从而达到作者所提出的消灭相似性、强调不同的效果。正式地说，该方法利用了纹理模式中的固有属性，即局部相邻的图像块往往是相似程度比较高的。如下图

上图中的b图可能更容易理解一些。中心小的蓝色区域作为一个参照图像块，显然距离其较近的绿色区域和蓝色的图像块表现较为相似，右边的红色区域则与中心蓝色区域相差较大。这也符合我们中国的一句谚语“近朱者赤近墨者黑”，相近的块相似度肯定要相对高一些。因此，滤波器设计成增强差异较大图像块（距离较远的图像块）的信息，滤掉相似块的信息。为了达到这样的效果，间隙空间被放置在了给定图像块的周围区域，从而与间隙区域重合的信息被遗弃，滤波器能够更专注于给定区域的差异性。如下图中环绕着的零就是gap space.

有一个重要的问题是，作者全文终并没有交待如何设计NDF，比如说NDF的大小，n,m,l等参数的取值，而我个人觉得这个方法对这些参数应该是很敏感的，毕竟不同的图像差异还是挺大的，这也是我前面提到的对得到鲁棒统一的缺陷表示持怀疑态度的原因。下图是一个NDF的实例图。

一幅给定的输入图像通过NDF滤波并且正规化到正常的图像灰度范围，公式如下（这个公式本身没有什么东东，可我觉得下面的公式有问题啊！有些不对呢）

我觉得有问题的原因有两个：1，大括号三个式子中的前两个汇总起来不久等价于第三个吗？这样写是不是多此一举了？2，p是一个什么东东作者在文中并没有交待，我的理解p就是一个类似示性函数的作用，滤波得到的结果大于正数阈值T时，p取1；滤波结果取负大于正数阈值T时，p取-1；第三个式子直接将前面两个式子融合到一起，其实就不需要p的作用了，所以作者在这里写了一个p=0。解释一下各个符号。Vxy表示已当前坐标（x,y）为中心的一个小邻域，即一个小的待滤波的图像块（patch），NDF是与Vxy同样大小的滤波模板，这里的滤波应该类似卷积操作，即*表示待滤波图像块灰度矩阵与NDF矩阵对应元素相乘再求和，公式（2）左边得到的滤波结果应该是一个“数”，用这一个“数”来表示当前位置(x,y)像素点的特征，这个特征强调当前像素点和周围像素点的“不同性”，类比灰度共生矩阵去理解。经过NDF处理后得到的结果如下图：

上面的结果按照我的理解应该是类似于saliency map显著性图这样的一个东东，不知道为什么看起来怎么那么像二值的呢！

总结起来，作者提出的NDF有如下的优点：

1、即使在变化的光照条件下，NDF处理后得到的图像非常的鲁棒，原因在于NDF是基于图像块的比较。这里可以这样理解，你对一个小的块与块进行比较肯定比对原图进行比较受影响小；

2、NDF能通过在每个像素位置上将强度（灰度）信息替换成邻域差异信息从而能移除重复模式将缺陷的前景分离出来。替换完成后可进而用来定义一些特征；

3、无论前景缺陷信息与背景相比是亮还是暗，NDF滤波值在暗或者亮的情形下总能一次区分开来；

4、NDF可以作为一种后处理方法筛选出漏报。

特征抽取

我们提出了一个包含几何、强度、统计和纹理特征的特征集合。对于特征选择的方法，参照其它研究尝试去组合所有可能的信息去提供更通用的缺陷分类方法。关于几何、强度和统计特征在非线性分类器的训练下的有效性可参考相关文献。纹理是定义一个物体表面最重要的特征。我们对经NDF处理过的图像使用基于灰度共生矩阵的纹理特征。关于灰度共生矩阵，本质上是估计距离为d的两个像素点沿着给定的向量(k,l)或者(-k,-l)有特定值的联合概率密度。从灰度共生矩阵获得的纹理度量信息见表1.

下面的内容是对我本人比较有启发的地方，如何选择特征？选择哪些特征？选择多少个特征？下面是我认为本文除了NDF之外的第二个亮点。

为了提出最优的特征构成，我们从44个包含几何、统计、强度和纹理的描述子中开始。从经NDF处理后的图像的灰度共生矩阵中提取出33个特征（后面的描述不够33个特征啊！按照后面的描述应该是22个呀），其中包含11个纹理度量对应灰度共生矩阵取3个距离和4个方向。另外有11个特征包含6个几何特征，2个统计特征和3个强度特征。这么多的特征显然有些麻烦，如何选择少数的特征但是仍然可以有良好的表现呢？3折交叉验证。将原始数据集分为3份，随机选2份用于训练，另一份用于验证。为了根据子集的预测性能评测子集变量，我们使用一个“合适值”，这个“合适值”就是平均准确率。选择不同的特征数量看准确率，“合适值”变化趋势如下图：

可以发现，当选择8个特征的时候，“合适值”极速下降，因此最终选择了9个特征，具体细节不再赘述。总结起来，在特征选择个数上，可以结合交叉验证和准确率的反馈来做出选择。

学习

作者在本文中选择使用随机森林来训练特征。具体不再赘述了，关于随机森林的东西网上一搜一大把。

到这里本文基本上就结束了，总之实验效果还不错。我自己说的关于参数的问题给作者发邮件咨询作者没有回复，略表遗憾。上面的特征选择部分其实有一点我还不是特别的明白，一会再看看回来再写吧。

有任何问题可以发邮件 jzwangATbjtuDOTeduDOTcn 讨论交流。