LKNet--用于OLED显示屏Mura缺陷检测的神经网络_基于bp神经网络的线mura缺陷识别与定位研究-CSDN博客

本文链接：https://blog.csdn.net/m0_59092412/article/details/139710152

《御街行·失魂雨冰风谷》

纷纷雪落人飘坠同死生共玉碎前尘后世君莫问柔肠百结如醉情丝未断尘缘难了萦绕千千岁

舍却残生犹不悔身已空尽成泪路长梦短无寻处总是情愁滋味眉间心上柔肠百结尽付东流水

第一个自己设计的神经网络模型，纪念一下。

基于AI深度学习，用于OLED显示屏Mura缺陷的检测模型，包括整体检测流程，神经网络模型结构和完整的代码框架，包括缺陷照片获取、照片预处理、神经网络模型设计和模型工业化部署。

本方案已申请专利。

本文为一种基于AI深度学习神经网络模型的液晶面板(OLED)Mura良品检测方法，属于计算机视觉、图像分类领域，涉及一种基于多层卷积特征提取的OLED面板Mura缺陷检测方法。包括采集各画面多种缺陷类型的OLED面板(截取整个OLED面板区域的图片,目的是去除拍照图片周边的环境干扰部分)，统一标记其为NG类型，采集各画面良品类型的OLED面板(图片选择跟缺陷的要求一致)，统一标记其为OK类型；将图片根据灰度分为背景直流分量和Mura缺陷交流分量，将照片灰度的直流分量统一到固定值，用于适配不同灰度的缺陷照片；本专利设计了一种基于DenseNet和Xception神经网络模型称为LKNet，用于构建OLED面板良品检测卷积神经网络的主干部分，并加入特征金字塔结构用于多尺寸检测，使用空间金字塔池化适配不同尺寸大小的图片，增加通道混洗，用于特征通道间的特征流通，增加了L2正则化和Drop技术用于防止神经网络过拟合，设计了一种用于降维的空间通道金字塔池化(SCPP)模块，用于代替1*1卷积，加入数据并行(DP)模式用于减少显存消耗和提升训练速度；通过训练数据集对神经网络进行深度学习；将待分类图片输入已训练模型进行推理，计算属于每个类别的概率值，选出概率最大类别，确定其类型（OK或NG）；并与传统的缺陷检测软件判定的类别进行综合判等，深度网络输出的类别为最大的概率值，对传统的缺陷软件检测判定为OK品图片，则依据深度网络的输出结果，否则输出依据传统检测软件判别为NG结果。本发明提高了深度卷积网络的泛化性能，与传统检测算法融合使用，降低了漏检率和误检率。。

由于是公司项目，暂时不能放出源码，等过一段时间看看；

作者的硬件配置是Ubuntu18.04+CUDA10.1+cuDNN8.5+GeForce RTX Titan 24G *2，看着很吊，其实一般。

照片裁剪：使用相机拍摄得到的Mura缺陷照片除了缺陷屏幕部分外还包括一些周围背景部分，这部分图像是不需要的，可能会对AI神经网络的训练及检测带来影响，且多出来的图像也会增加AI神经网络训练和测试时的时间成本以及GPU显存消耗，因此需要通过裁剪的方式去除这些无用图像，只保留存在Mura缺陷的显示屏部分。

照片背景灰度直流分量统一化：由于Mura缺陷类型多样以及不同厂家拍照条件不同，不同的缺陷照片的背景灰度会不一样，这会对AI神经网络的训练以及检测带来不便，训练数据集和测试数据集照片背景灰度不同，可能会影响最终检测结果。Mura缺陷照片包括背景的灰度直流分量和Mura缺陷的灰度交流分量，本专利通过保留照片中Mura缺陷的灰度交流分量，统一所有缺陷照片中的背景的灰度直流分量，使得AI神经网络模型可以适配所有不同背景灰度的Mura缺陷照片。

具体处理步骤如下图：

对于三通道彩色照片，处理步骤略有不同，绿色通道按照上图进行处理，红色和蓝色通道像素在减去各自通道像素平均灰度值后，增加的统一灰度值和绿色通道不同，按照各自通道灰度平均值和绿色通道灰度平均值的比例，增加相应比例的统一灰度值。

比如，RGB三通道的像素灰度平均值分别为50、75、100，绿色通道增加的统一灰度值为128，即绿色通道所有像素值减去50，再加上128；红色通道所有像素值减去75，再加上128*（75/50）；蓝色通道所有像素值减去100，再加上128*（100/50）；

数据集增强：AI神经网络训练时需要大量的缺陷照片，通过从大量样本中学习到的数据特征进行建模，有些时候数据集并不是那么充分，需要通过数据增强方式人为“增加”缺陷样本，数据增强包括对照片进行旋转、偏移、镜像、裁剪、拉伸等图像操作，使得新图片和原图“看起来”不一样，一定意义上生成了新的照片，扩充了数据集。

LKNet模型结构

本专利自主设计一套AI神经网络体系结构名为LKNet，如下图：

FPN：由于Mura类型各异，大小不同，AI神经网络随着卷积层数的增加，小的Mura缺陷会被淹没在背景中，这被称为多尺度问题，特征金字塔网络（Feature Pyramid Networks）通过融合不同深度卷积层的特征，较好地改善了多尺度问题，使得AI神经网络能对不同大小形状的Mura都有较好的检测率。FPN结构如下图：

1.C1、C2、C2、C2、C5为不同层次卷积后的特征，将C2~C5各自通过1×1卷积进行通道特征融合以及降维，分别生成C2’、C3’、C4’、P5；

2.将P5依次进行二倍最近邻上采样，分别得到P4、P3、P2；

3.将C4’和P4、C3’和P3、C2’和P2，各自特征图对应通道逐元素相加，得到新的P4、P3、P2；

4.将新的P2、P3、P4进行3×3卷积，得到F2、F3、F4；

5.将F2、F3、F4、P5进行通道叠加，做为FPN的最终输出，输入下一级网络中；

Channel Shuffle：将FPN输出的特征图的各个通道打乱顺序，增加通道间的特征融合，模块结构如下图：

Trans：包括重新设计的用于通道间池化的SCPP（Spatial Channel Pyramid Pooling）和全局平均池化，使用SCPP减少特征通道数并进行通道特征融合，再使用全局平均池化作为下采样操作。

SCPP（patial Channel Pyramid Pooling）：一般降低特征图通道数是使用1×1卷积，但1×1逐点卷积计算量巨大，本专利设计了一种特征通道间的空间池化方法，可以代替1×1卷积进行特征通道降维和通道间特征信息融合。

SCPP将特征图通道进行不同数量的分组，比如1份，每份为所有通道；2份，每份为1/2所有通道；4份，每份为1/4所有通道；每一份里面，各个通道的对应位置元素进行池化操作（最大池化或平均池化），每份通道生成一张特征图，将每一份通道的特征图按通道叠加，输出为新的特征图，最终输出特征通道数为1+2+4+…。为了将最终输出通道数为2的n次方，所有通道做池化的输出通道(C=1)多复制一份输出。

Dense：对上一层输入的特征图进行多次BN-Relu-Conv操作，每次操作的输入特征图为前面所有操作的特征图的总和，按通道叠加，就是每一层的输入来自前面所有层的输出，使得较前面的特征信息可以较好的传递到后面的卷积层，并增加了Res结构，在增加神经网络层数基础上，有效减小梯度消失现象，模块结构如下图：

Xception：输入特征先进行普通卷积操作，再对 1 × 1卷积后的每个channel分别进行 3 × 3卷积操作，最后将结果 concat，模块结构图如下：

SPP：空间金字塔池化一种可以不用考虑图像大小，输出图像固定长度网络结构，并且可以做到在图像变形情况下表现稳定，模块结构图如下：

SPP将输入特征图在H-W维度进行分块池化，最右边的图，对每一个特征通道进行池化，每个通道得到一个特征值；中间的图，将每一个特征通道分为4份，再对每1/4个特征通道分别进行池化，每个通道得到4个特征值；以此类推，最左边的特征图，每个通道得到16个特征值，将这些特征值拼接起来，送入下一层全连接神经网络（FC）。

Fully Connect：全连接神经网络接收SPP输入的特征值向量，通过全连接神经网络的特征建模，输出缺陷照片分类结果（OK/NG）数值，传入下一级log softmax分类模块。

Log SoftMax：函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是：