基于MATLAB、YOLOv3算法一种磁瓦图像缺陷检测识别系统设计

第一章 绪论

1.1课题研究背景
　　磁瓦作为永磁电机中的关键部件，在实际生产中可能会存在气孔、裂纹、断裂和磨损等表面缺陷，而这些缺陷
的存在会使得其不能为电机提供稳定的磁势，也会影响电机的寿命，所以必须要采取有效的方法来进行缺陷检测。
如何能够解决磁瓦缺陷检测的时效性，以及如何能够改善由于磁瓦缺陷本身的对比度低、缺陷不明显等问题，是缺
陷检测目前的要解决的重点和难点[1]。传统的磁瓦表面缺陷检测方法大多是人工检测，即通过工人的观察及经验对
缺陷进行分类和定位，但人工检测方法存在许多问题，例如检测效率低、误检率及漏检率高、劳动强度大，而且人
工检测成本高，并且还很容易受到工人们的主观判断的因素的影响，容易造成磁瓦良莠不齐，因此检测效果较差。
所以亟须解决这一难题。随着计算机视觉以及机器学习的发展，许多学者将这一技术应用于工业检测，目前基于机
器视觉的表面缺陷检测的研究焦点已经从经典的图像处理和机器学习方法转移到了深度学习方法，在很多工业场景
下解决了以往传统方法无法解决的难题[2]。表面缺陷检测技术也正在不断地从学术研究走向成熟的工业应用[3]，
逐渐地成为了工业生产过程中不可或缺的组成部分。同时，中国也正在研究如何可以以更加快速、高效、低成本的
方式去将表面缺陷检测技术进行推广，去应用于更多的场合。
1.2国内外研究状况
　　国外在物体表面缺陷检测上的研究相较中国起步较早，并且国外在这一方面的投资金额大，研发力度高，科技
更为发达，在上世纪70年代左右，表面缺陷检测技术就已经逐渐应用于工业生产过程中[4]。例如德国百事泰公司针
对冷轧带钢表面的缺陷检测，研发了一种基于人工神经网络的缺陷检测系统，该系统可以在线检测待测物体的表面
缺陷，并可实时对物体缺陷数量以及缺陷类型进行统计和保存，同时，该系统可以自动判定被测物体的质量等级，
对被检测物体进行等级分类[5]。20世纪90年代早期，荷兰Philips公司利用图像处理技术结合不同的滤波算法以及
滤波模板，研发出一套自动射线检测装置，该装置可通过无缺陷的X射线模板图像自动对待测物体进行缺陷检测
[6]。Baygin等人针对印刷电路板孔洞缺失问题，提出了一种基于机器视觉的检测方法，该方法首先从系统中获得参
考图像，然后使用Otsu阈值化和Hough变换方法对参考图像进行特征提取，最后将需要检测的图像输入到匹配模型中
与参考图像进行匹配，检测电路板上的缺失孔[7]。Lien等人将卷积神经网络与支持向量机相结合，提出了一种表面
缺陷检测方法，该方法使用AlexNet卷积神经网络模型对图像数据集进行训练，提取图像中的缺陷信息，并使用支持
向量机对缺陷做出最终判定[8]。可以说，国外在这一领域的研究已经到了非常成熟的地步。
　　国内在缺陷检测这一领域的研究起步较晚，而且作为新兴领域，机器视觉技术的普及度远远不及国外。但是随
着中国经济和科技的飞速发展，工业自动化程度的不断提高，“中国制造”正在逐渐地转变成“中国智造”，机器
视觉技术也在慢慢地渗透到各个领域之中，虽然中国与成熟的国际市场相比还有一定的差距，但是中国一直都在以
飞快的增长速度进行着追赶，相信不假时日就可以追上大部队的脚步。制造方面上，在中国的“磁都”马鞍山，其
中很大的一部分生产份额要在铁氧体磁瓦上。该地生产出来的磁瓦不仅要销售到国内的各个工业市场中，更是出口
到日本三菱重工等国际知名企业[9]，足可以看出中国制造在国际市场上占据着越来越重要的一部分。同时，中国在
表面缺陷检测技术方面也取得了长足的进步。例如专注于机器视觉部件的大恒图像研发出了一种应用于金属表面的
缺陷检测及尺寸测量系统，该系统是安装在金属产品生产线上，对生产线上的每个表面缺陷及外形进行实时的在线

检测，该系统使用了独特的照明光源，并且采用了非常智能化的算法设计以及分析算法，使得其可以对划伤、结石
等表面缺陷进行检测和分类[10]。刘泽等人针对钢轨表面的缺陷检测研究设计了一种动态的阈值分割算法和缺陷区
域提取算法，该算法可以针对钢轨表面掉块、表面裂痕这两类典型的缺陷图像进行图像处理，做到准确提取缺陷所
在的位置区域，并标定缺陷所在位置，并统计缺陷的特征[11]。胡秀珍等人提出基于一种机器视觉的铁芯表面缺陷
进行检测的方法，该方法可以对工业生产线上的铁芯实现在线智能检测，大大提高了效率，并且而降低了许多人工
成本。该方法首先采用了高斯滤波对图像进行预处理，然后利用Sobel算子对图像进行分割，最后结合形态学和区域
填充技术填充感兴趣区域，初步定为缺陷区域，利用联通区域面积分析法去除伪缺陷[12]。机器对产品的缺陷检测
不仅实现了工业自动化，并且还提高了社会生产效率[13]，虽然中国与国际市场有一定的差距，但是中国的发展潜
力巨大，谁也不能忽视东方雄狮。<<中国制造2025>>白皮书中提到“…加快提升产品质量。实施工业产品质量提升
行动计划…推广采用智能化检测设备…使重点实物产品的性能稳定性、质量可靠性、环境适应性、使用寿命等指标
达到国际同类产品先进水平…”。在未来，中国的缺陷检测技术会朝着更加自动化、智能化的方向去发展[14]，工
业技术也会在其帮助下发展的更为迅速。
1.3本课题研究内容与结构安排
1.3.1主要内容
　　本文基于MATLAB、YOLOv3算法设计了一种磁瓦图像缺陷检测识别系统，希望通过运用图像处理方法将训练集进
行扩充增强后，让机器通过学习大量图像缺陷训练集，进而去识别相似的磁瓦表面缺陷，进行定位。
1.3.2结构安排
第一章：绪论，介绍本课题研究背景、国内外的研究现状、研究内容和结构安排。
　　第二章：磁瓦图像数据库的扩充，本章介绍了磁瓦及其表面缺陷，通过举例翻转和添加高斯噪声这两种扩充方
法对图像数据库进行扩充。
　　第三章：磁瓦数据库图像增强，介绍了图像增强的方法，通过介绍对比度增强和二值化方法来具体对图像进行
增强，并阐述其优缺点。
　　第四章：磁瓦图像缺陷定位，介绍了神经网络以及所需用到的YOLOv3算法，并将YOLOv3应用到缺陷检测，通过
YOLOv3进行识别表面缺陷。
第五章：总结与展望。
1.4本章小结
　　本章主要阐述了磁瓦缺陷检测的研究背景、国内外研究状况以及未来前景，提出当前低效率的人工检测势必会
被高效率的智能检测所取代的结论，中国的缺陷检测技术正在飞速发展，并朝着更加成熟的技术迈进，并阐述了本
课题的研究内容与结构安排。

第二章 磁瓦图像数据库的扩充

2.1磁瓦及其表面缺陷
　　本文所提到的磁瓦都是主要用于永磁直流电机中的一种瓦状磁铁。电磁式电机的工作原理是通过励磁线圈来产
生磁势源，而永磁电机的工作原理是通过永磁材料来产生恒定的磁势源，永磁电机的定子是永磁体，转子是线圈，
而普通电机的定子是线圈，这也是为什么它们的工作原理不同。永磁磁瓦相比于电励磁而言，具有很多的优点，例
如，永磁磁瓦能够使电机的结构变得简单化，省去了励磁绕组等结构，同时也避免了励磁式电机的励磁绕组发生故
障等问题、提高了性能；永磁电机的转子机构也经过了一系列的简化，也提高了比功率；而且其输出功率高，更加
节能，所以整体上永磁式电机性能要优于电磁式电机。但由于磁瓦在生产过程中要经过烧结、磨削等一系列复杂程
序，在生产过程中会不可避免地出现裂纹、磨损等质量问题，当有缺陷的磁瓦在被用作永磁电机上的部件时，会降
低电机的工作效率、增加涡流损失、温度不稳定等问题；磁瓦在充磁的时候也有可能会在其表面产生缺陷。所以磁
瓦表面的缺陷检测就显得十分重要，这关乎着永磁电机能否正常运转；如果没有对其进行有效地检测，那么效率将
会大大降低，甚至会出现生产安全事故。对于磁瓦表面可能出现的各种缺陷，本文现特选取磨损这一缺陷种类来进
行分析识别。通过对这一特定缺陷种类进行分析，也可以进一步推广到其他缺陷种类上。

图2.1 磁瓦图片
2.2磁瓦缺陷数据库的扩充
　　本课题是基于MATLAB2016版而设计的识别系统。MATLAB可以胜任许多仿真和设计的任务，其语言更接近书写计
算的公式，而且编写简单、编程效率高，适合解决图像处理相关方面的内容。在已有的磁瓦数据库中，有关磨损的
磁瓦缺陷图像数量有限，所以首先就要对数据库进行扩充。当训练数据有限时，可以通过使用数据增强的方法来对
原有的数据进行变换，通过生成新的数据，去扩大训练集，这样可以降低模型对某些属性的依赖，增强模型的识别
能力；即使是拥有大量的数据，进行数据增强这一环节也是必不可少的，因为这可以防止神经网络学习到不相干的
模式，从根本上提升整体的性能。例如可以通过对图像进行翻转、旋转、平移，或者是将图像大小进行不同尺寸的
缩放，让物体以不同的比例出现在图像的不同位置，这样可以降低模型对目标位置的敏感性；也可以通过加入噪
声，或者是调整对比度、饱和度等因素来降低其敏感性。这样可以让图像训练集更广泛、特征性更多。图像扩增常
采用的变换有：
（1）对图像进行旋转、平移、裁剪、尺寸缩放、翻转等；
（2）对图像添加噪声。常见噪声的有高斯白噪声、椒盐噪声等；
（3）颜色变换，即在图像的RGB颜色空间上添加增量；
（4）改变图片对比度、亮度、清晰度等因素，从而改善图像视觉效果；
（5）还有采样算法SMTE，生成对抗网络GAN等[15]。
　　这里选取一些比较简单的方法来扩充数据库，翻转和添加高斯噪声。翻转即为把图片沿水平或垂直方向翻转一
定角度，这里要注意，翻转和旋转是两个不同的方法，而且翻转不会改变图像尺寸，旋转可能会改变图像尺寸。高
斯噪声即是一种随机噪声，符合高斯正态分布，向标准数据中加入合适的高斯噪声会让训练数据产生一定误差，从
而具有实验价值。在某些情况下，学习高频特征对模型提升并没有什么帮助的时候，可以采用具有零均值特性的高
斯噪声，高斯噪声可以使高频特征失真，减弱其对模型的影响；然而同时这也会影响到需要学习的低频成分。但由
于模型能够可以通过大量的学习训练集来忽略其影响，所以添加适量的噪声能够有效地扩大训练集，提高机器的学
习能力。
翻转可以基于x轴、y轴、z轴任意一轴进行翻转。本课题采用的翻转是基于y轴的翻转，可以表示为：
（2.1）
因为是平面图像的翻转，在进行基于y轴的翻转后， 的数值不发生变化， 的值变为其相反数。
高斯噪声的概率密度服从高斯分布，也就是正态分布，其概率密度函数可表示为：
(2.2)
　　本课题的磨损类缺陷总共有四种类型的缺陷图案，每一种的数量只有十张左右，所以必须要进行数据库扩充，
数据库数量越多，内容越丰富，机器学习到的特征就越多，识别能力就越强；数量越少，内容就越少，学习到的特
征就越少，识别能力就越弱，所以，数据库的数量越多越好，本课题并不仅仅局限于使用翻转和添加噪声这两种方
法。
下图是对部分原图进行翻转和添加高斯噪声后得到的结果，如图2.2所示
原图翻转添加高斯噪声

图2.2 对图片进行翻转、添加高斯噪声
　　翻转和添加高斯噪声这两种方法不改变图像本身的大小。通过前两组图片的比较，可以从中发现，两张原图的
差别几乎只在于亮度的高低上，翻转不改变图像亮度，所以没有变化，只是单纯扩大训练集；但是在通过添加高斯
噪声之后就会发现，图片产生了失真，添加噪声可以有效地扩充数据库，可以为后面图像识别步骤增强机器的识别
能力。虽然有些原图用肉眼看起来差别很小，甚至是看不出区别，但是在经过某些变换之后，差距就会体现出来，
而这些差距也进一步地丰富了数据库内容，扩大了训练集，让机器能够进行更全面的学习。
2.3本章小结
　　本章介绍了磁瓦的特点以及缺陷的产生原因，提出了解决思路；然后介绍了数据库的扩充方法，以及如何扩充
数据库，增加训练集。对已有的数据库通过一些图像增强的方法进行了扩充，增加了训练集 ，进而得到了更加全面
的数据图像，为后面缺陷识别打下基础。

第三章 磁瓦数据库图像增强

3.1图像增强
　　在对图像数据库进行扩充以后，就需要对扩充后的数据库中的图像进行图像增强。图像增强能够改善图像的视
觉效果，或者是把已知的图像转换成为另外一种形式，便于进行后续更深一步的处理。图像增强的方法有对比度改
善、图像去噪、图像锐化以及彩色增强等。本课题决定采用对比度增强这一方法来改善图像视觉效果。对比度增强
是图像增强技术中一种比较简单但又十分重要的方法，它按照一定的规则，逐点地修改输入图像的每一个像素的灰
度，从而去改变图像灰度的动态范围，实现改善视觉效果。
3.2图像的点运算（对比度增强）
　　点运算是图像处理之中最基本的运算。点运算又被称作是对比度增强。运用点运算方法进行处理的图像，其输
出图像的每一个像素点的灰度值都由输入像素点来决定，也就是说该点像素灰度的输出值仅仅和本身灰度有关。点
运算的结果由灰度变换函数（gray-scale transformation, GST）来确定，如式（3.1）所示。
（3.1）
　　点运算可以分成两类，一类是线性点运算，另一类则是非线性点运算。当灰度变换函数为线性函数时，即
，此时的变换称为线性点运算。当
时，原图像不发生变化；当
时，图像的灰度值增加或降低；当
时，输出图像的对比度增大；当
时，输出图像对比度减小；当

时，图像的亮区域就会变暗，暗区域变亮。线性变换简单直观，只需要选择合适的变换因子，就可以方便有
效地改变图像的对比度；而且考虑到对结果的改善也比较有效，所以在实际应用中比较受欢迎。
　　但运算过于简单往往意味着效果的提升非常有限，所以这时候就需要用到复杂的非线性运算。在成像时，为了
校正成像设备产生的非线性失衡，这时就需要用非线性运算。非线性运算没有固定的非线性变换公式，这是因为常
常需要根据不同的实际环境情况而使用相对应的非线性变换，但还是会经常遇到如式（3.2）所示的公式：
（3.2）
其中
，则上述函数把图像中间灰度的对比度拉大，两端（高亮和过暗区）的灰度对比度的变化较小。
　　上述内容是从函数运算的思想来介绍的对比度增强，通过对点的运算，来实现对比度的改变。下面则从变换的
角度来对对比度增强进行介绍。
　　线性点运算的实质是：如果原图像函数
的灰度范围是
，希望变换后的图像函数
的灰度范
围是
,那么就可以设计如下的变换：
（3.3）
其中若令
，
，那么这个式子就转换成了熟悉的线性点运算公式。所以两者是有联系的，
也可以进行相互转化。
　　如果需要对图像的对比度做更为细致的改变，那么则可以设计分段的变换来对不同的灰度段做不同的调整，将
分段的若干段灰度段进行压缩或拉伸，利用线性运算的方法。进而去改变图像的对比度，其变换公式为：
（3.4）
　　如果要为了得到更加精确的变换，这时便可以使用非线性变换来解决遇到的难题。常用的非线性变换有对数变
换或Gamma校正。对数变换的过程如下：
（3.5）
　　对数变换经常用来扩展低值灰度，压缩高值灰度。Gamma校正这种变换，如果设f为图像的灰度，r为CCD图像传
感器或胶片等的入射光的强度，那么输入光强度与输出信号之间的函数可表示为如下关系：
（3.6）
从直观上来讲，一般希望的是图像的灰度和光强度成正比关系，所以可以将上式进行变换，变成如下的公式：
（3.7）
　　其中K为一常数，通常取1。 通常取0.4~0.8。在MATLAB程序中，上述的线性变换和非线性变换都可用同一个
函数imadjust来实现。但是在使用imadjust函数时，有以下需要注意的几个地方：
（1）整个函数的动态范围[low_in;high_in]可以直接用stretchlim函数来获得；
（2）灰度范围是[0,1]，而不是[0,255]；
（3）多次利用imadjust函数可以实现分段线性变换，最大程度地改善图像对比度；
（4）当式子里面的 小于1时，gamma校正也可以用来实现对数变换；

（5）如果high_out小于low_out，那么图像就会反色。
原图对比度增强

图3.1 对图片进行对比度增强
　　对数据库中的图像进行对比度增强后，得到的结果如图3.1所示。在通过对比度增强对图像进行处理后，可以发
现，数据库里面的原图本来是模糊不清的，但是在对图片使用对比度增强后，图像变得清晰了许多，同时原图里面
的亮区域和暗区域也在变换后的图像中清晰地展示了出来，避免其失真。
　　同时MATLAB image toolbox7.0还提供了一个供手动调节的控制面板，可以手动调节对比度，并且可以实时查看
调节的效果，直到调整到满意的效果为止。只须在程序后面添加imcontrast（gcf）语句便可实现。
3.3二值化
　　这里再介绍一种叫做二值化的图像处理方法。二值化这一方法是将图像上面的像素点的灰度值设置为0或255，
也就是说在使用二值化方法后，从处理后的图像中只能看到黑色和白色，如图3.2所示：

图3.2 二值化前后的图像对比
二值化最经典的函数就是sgn函数：

(3.8)
　　二值化方法是图像处理的基本操作，其应用非常广泛。但是，如果在缺陷检测上面使用二值化方法的话就会产
生新的问题。在观察二值化后的图像的时候，只能从中看到黑色和白色两个颜色，而看不到图像里的细节，例如图
3.3：
　　从图3.3的原图中可以清晰看到有一个“26”的数字，还有一个类似“Ｘ”的标志，但是在经过二值化处理后的
图像中，是看不到“26”和“X”的，只能从结果中看到黑色和白色。也就是说，如果用二值化方法确定表面缺陷检
测的时候，需要将二值化后的图像和原图像进行一一对应，在待处理的图像相似度很高的情况下，使用二值化处理
尤其需要注意对应，否则会因为图像混乱而导致结果产生偏差。如果需要进行处理的图像数量少，是可以使用二值
化这个方法的，但是一旦图像数量有几百张甚至更多的话，即使是进行了相对应的命名来便于查看二值化前后对应
的图像，也需要花费大量时间来去甄别，而且，在磁瓦缺陷检测这方面，有着大量的相似图像，二值化无法满足对
磁瓦细节的查看。所以，二值化在表面缺陷检测方面有一定的局限性，它不能很好地展示出缺陷。如果要想既想看
到其中的缺陷位置，又想要看到完整的图像，那么二值化这个方法显然是不可取的。
3.4本章小结
　　本章介绍了图像增强的意义以及详细介绍了对比度增强这一扩充数据库方法，并通过这一方法对已有的数据库
进行增强，便于下一步的定位检测。同时介绍了二值化这一图像处理方法，指出其局限性，不适用于磁瓦缺陷检
测。

第四章 磁瓦图像缺陷定位

4.1 数字图像处理
　　数字图像处理的最终目的是利用计算机代替人去认识图像和找出一幅图像中感兴趣的目标，这也是计算机模式
识别的重要内容。
判别分类数据处理数据获取待识别图像 结果输出
图 4.1 图像识别系统框图
　　从图4.1中可以看出图像识别是由三个主要环节组成，分别是数据获取、数据处理和判别分类。其中，数据获取
这一环节将现实世界的模拟数据，例如图片、照片、图像、景物等由某一个传感器（例如扫描仪、传真机、数字摄
像机、数码相机等）来收集，转化成一个适合计算机去处理的形式，将物理量来转换成为一组测量值。在数据处理
环节上，包含了预处理、特征抽取和特征选择，对图像进行分布的变换。判别分类这一环节则是通过一定的准则或
机制去建立分类规则，并利用这些规则来进行分类识别。解决图像识别的方法总的来说可以分成四类，分别是结构

模式识别、统计模式识别、智能模式识别和模糊模式识别。结构模式识别和统计模式识别拥有悠久的历史，可以很
好地解决相应领域中的模式识别问题。模糊模式识别和智能模式识别这两种识别方法，则是引用了模糊数学相关领
域的研究成果，形成的模糊模式识别能够有效地改善分类的效果。而在上世纪80年代新崛起的人工神经网络，作为
一种广义的智能模式识别方法，在模式识别领域取得了许多用传统的识别方法都难以达成的成就。
　　人工神经网络是在认识、理解人脑组织结构和运行机制的基础上通过模拟其结构和智能行为的一种工程系统，
它具有很强的学习能力、容错能力和信息处理能力，并且拥有很高的灵活性以及计算机并行性。一开始，神经网络
作为模式识别分类器和聚类技术在图像处理领域中得到了应用。随着人们对神经网络理论的进一步研究，神经网络
在图像处理的很多领域里也得到了成功的应用，例如图像压缩、图像特征提取、图像变换编码等等。如今，人工神
经网络已经成为当今科学研究领域的热点之一。在20世纪40年代早期，在MeCulloch和Pitts的示范性工作中，神经
网络就已经受到了关注。他们提议要用二进制门限区间和包括0-1、1-0的神经状态变化的随机算法作为神经系统建
模的基础。由Hebb（1949）进行的后续工作是建立在数学模型基础上的，这个数学模型尝试通过增强或建立关联来
掌握“学习”这一概念。下面介绍图像处理中常用的几种神经网络模型
4.1.1 BP网络
　　BP神经网络是一种多层前馈型网络，它能够逼近任意的非线性映射关系，具有很好的泛化能力。BP神经网络作
为一种非自适应的神经网络技术，在图像处理领域中应用非常广泛。
4.1.2 Hopfield网络
　　Hopfield神经网络是一种动态网络，这种网络主要用于联想记忆和优化计算等方面，它在图像边缘检测、图像
模式匹配与识别等图像处理方面的应用比较广泛。
4.1.3 小波网络
　　小波网络起源于小波分解，是近些年来在小波分析研究获得突破的基础上提出的一种前馈型网络。小波网络是
将常规单隐层神经网络的隐节点函数用小波函数来代替，相应的输入层到隐层的权值及隐层阈值分别由小波函数的
尺度与平移参数代替，这同时继承了小波变换和神经网络两者的优点，具有良好的函数逼近能力以及模式识别分类
能力。现如今小波网络作为新型的神经网络技术，在图像处理中得到了广泛应用。
4.1.4 细胞神经网络
　　细胞神经网络是局部连接细胞的空间排列，其中每个细胞都是具有输入、输出以及与动力学规则相关的状态的
非线性动力学系统，拥有很强的并行处理能力，并且具有集成特性，自从其被提出以后就得到了广泛的研究，并应
用于图像处理的各个领域之中。
4.1.5 模糊神经网络
　　模糊神经网络是神经网络和模糊技术两者的有机结合，既可以有效地发挥出两者各自的优势，还可以弥补两者
本身各自的不足，做到取长补短。模糊神经网络不仅可以表达和处理不确定知识，而且还能够自动产生或者调整规
则。另外，它还可以实现并行高速推理，极大地提高了系统建模和运行的效率。模糊神经网络在图像处理的各个领
域都有着广阔的应用前景。
4.2 基于神经网络的图像识别的基本原理
　　图像识别是图像中的物体的模式分类，同时包括物体特征的确定，例如位置、方向和尺寸等。传统的方法主要
是统计模式识别、光学模式识别等方法，但是这些传统方法的自适应能力较差，而且是在没有噪声的环境下才可以
进行的，这就对检测条件有了严格的限制，进一步增加了检测的难度。神经网络图像识别技术作为一种新型的图像
识别技术，近几年里得到了飞速的发展，其在图像识别领域中的应用也越来越广泛。神经网络在图像识别中的应用
按处理数据类型分，大致上可以分为两类，一类是基于像素数据的神经网络算法，另外一类是基于特征数据的神经
网络算法，也就是特征空间的聚类识别算法。
　　基于图像像素数据的神经网络识别技术，是用高维的原始图像数据来作为神经网络的训练样本。目前很多神经
网络算法是基于图像像素来进行识别的，例如Hopfield神经网络、模糊神经网络、SOFM神经网络、细胞神经网络
等。其图像识别的流程图如图4.2所示：
图像输入
神经网络训练样本图像数据
是否学习？
是否
神经网络学习神经网络分类

基于图像特征数据的神经网络的图像识别技术是利用图像的特征数据作为神经网络的训练样本。在此类技术
中，神经网络作为特征聚类器，有很多神经网络被研究人员运用，例如BP神经网络、模糊神经网络、Hopfield神经
网络、RAM自适应神经网络、SOFM神经网络、细胞神经网络等。其图像识别的流程图如图4.3所示。这类技术实际上
是传统方法与神经网络方法技术的结合，它利用了人的经验来获取模式特征及神经网络分类能力，也就是说需要先
通过人对图像进行特征提取，之后再以此来识别目标图像。其图像识别的关键则是图像的特征提取必须反映整个图
像的特征。所以由人操作的“图像特征提取”这一步就尤为重要。
图像输入
图像特征提取
神经网络训练样本图像数据
是否学习？
是否
神经网络学习神经网络分类
权值输出
结果输出
4.3 图像的定位检测识别
　　要根据扩充并增强后的数据库，去进行缺陷定位，即根据数据库的图像去识别缺陷所在位置。基于课题研究，
决定采用基于图像特征数据的神经网络的图像识别技术，通过识别训练集中的图像缺陷特征，进而去识别与训练集
相似的图像的缺陷特征。
　　根据图4.3的网络框图可以得知，在输入图像后，就需要进行图像特征提取，即提取出他们的缺陷特征。这里就
需要用到特征提取的相关算法。如今，随着深度学习的广泛应用， Faster R-CNN[16]、SSD[17]等算法在工业生产
领域也得到了广泛的应用。常海涛、苟军年等人提出把Faster R-CNN算法用于工业CT图像检测中，可以准确定位和
识别缺陷，并且检测速度快，拥有较强的鲁棒特性[18]；孙晖、孙锡柯等人用SSD算法来识别镀锌表面缺陷[19]；李
明等人通过GAN[20]来扩容[21]。提取算法常用到的特征有Haar[22]、SIFT[23]等。基于以上对缺陷检测的研究，本
文提出一种基于YOLOv3算法环境下的磁瓦缺陷检测识别系统。
4.4 YOLOv3算法
　　从2016年YOLO算法提出到现在，YOLO系列历经了v1，v2,v3,v4，并且改进到了现在的YOLOv5算法。本课题决定
采用比较成熟的YOLOv3算法。YOLOv3算法采用单一网络评估进行预测，速度要大大快于SSD算法和R-CNN算法；
YOLOv3融合了多种先进的方法，在YOLOv1和v2的基础上加以改进，并切YOLOv3采用了Darknet-53特征提取网络层，
使得其精度更高。其基本结构如图4.4所示：
图4.4 YOLOv3网络结构图[24]

YOLOv3网络模型的体系结构主要包括三部分：特征网络提取层（Darknet-53）、检测层以及分类层。
　　特征提取网络层是由53个卷积层构成，每一个卷积层都包含一个归一化层。YOLO借鉴了残差网络(Resnet）的做
法，在一些层之间建立快捷的链路，通过这些链路就可以解决随着网络的逐步深入导致模型难以优化的问题，在加
强网络的学习能力的同时，还利用到了更多的图像浅层特征信息[24]。
　　最小输入尺度的特征图只在检测层里进行处理，另外的两个尺度的特征图在被发送到检测层之前，要先与处理
过的较低维映射进行拼接，然后再输入到检测层。
　　分类层是以检测层生成的包含多尺度特征信息的融合特征为输入，通过卷积核大小为
和
的卷积层产
生模型的最终特征输出。
4.5 缺陷定位识别
　　在确定使用YOLOv3算法后，就需要通过训练集来让机器进行学习，记住缺陷特征。如果训练集的数量不够多，
那么识别缺陷的时候就没有那么精准，数量越多，其学习精度就越高。在通过学习训练集后，就需要将图像进行识
别，得到了检测后的图像，图4.5为选取了部分检测前后的图像，其中蓝色边框标注即为缺陷所在位置：
原图 识别的缺陷

图4.5 进行定位识别后的图像
　　从图像中可以看到，机器可以较好地识别出缺陷所在位置并进行定位，可以从中既可以看到原图像的状貌，又
可以看到他的缺陷所在。
　　当然，也有一些是机器所识别不出来的。这是因为数据库的图像数量不够大，训练集不够，没法涵盖各种类似
的缺陷图像，只能分辨出相似度较高的图像，有一定的局限性。图像数据库越多，机器的识别率就越高，就能保证
更高的精度。

图4.6 未能识别出的图像（左）和识别出的图像（右）
4.6 本章小结
　　本章介绍了图像识别处理技术，着重介绍了神经网络方面的相关处理技术，并用YOLOv3算法去识别缺陷所在位
置，能够做到对缺陷进行识别定位；但由于数据库数量较小，识别精度有待提高。

第五章 总结与展望

5.1总结

本文基于YOLOv3算法，设计了一种磁瓦图像缺陷检测方法，论文工作如下：
（1）扩充了磁瓦缺陷数据库，增加了训练集，便于后续图像处理时拥有更多数据库，可以使检测精度更高。
　　（2）增强了数据库图像，与二值化这一图像处理方法进行比对，得出二值化方法不适用于磁瓦表面缺陷检测方
面。
　　（3）使用YOLOv3算法，可以很好地进行缺陷识别，并且对比了不同置信度情况下的结果，仍能得到较高的识别
率。但是数据库数量不够多，得到的数据不够全面完善。需要搜集更多缺陷数据库来进行训练。
5.2展望
　　本课题设计了一种基于YOLOv3的磁瓦表面缺陷缺陷系统，该方法可以较好地识别出磨损这一类磁瓦表面缺陷。
如果能将这种表面检测方法类比于其它种类的缺陷，并进行分类识别，那么应用范围将会更加广泛。