工业缺陷检测项目实战(三)——基于FPN_Tensorflow的PCB缺陷检测

已于 2023-05-26 21:09:16 修改
阅读量4.3k 收藏 50
点赞数 10
分类专栏： 机器学习与深度学习 文章标签： 计算机视觉 缺陷检测 Pcb检测 目标检测 深度学习
于 2021-11-27 22:05:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39735688/article/details/121502493
版权

基于FPN_Tensorflow的PCB缺陷检测

这一篇实战，参考于:
基于深度学习的印刷电路板瑕疵识别.
因为介绍的数据集的预处理不是很详细，所以在这里再整理一遍，顺便学习新的深度学习网络模型。
一. 原理
Faster R-CNN.
深度学习网络 | FPN和fast rcnn及RPN网络是如何结合的细节.
二. 训练过程
1.数据准备
你可以从这里下载数据集：http://robotics.pkusz.edu.cn/resources/dataset/
我的已经将数据的训练数据和验证数据分配好了，这里按照从官网的数据集下载的来说。

下载好原始数据集的后，你会发现有这么多文件夹：
在这里插入图片描述
Annotations文件夹：
在这里插入图片描述

需要把各个文件夹的文件全部移动到Annotations/，想这样：
在这里插入图片描述

同样，对images/，就这样：
在这里插入图片描述

6个文件夹的图片全部移动出来，然后把空的文件夹删掉。

2.下载源代码

环境要求：注意版本匹配
在这里插入图片描述

3.数据拆分
将自己的数据集拆分为训练集、测试集合：

python /data/io/divide_data.py

将会生成两个文件夹：
在这里插入图片描述

接着把数据集文件夹放到data文件夹里面：
在这里插入图片描述

4.修改配置

在/libs/label_name_dict/label_dict.py中添加自己的数据集标签类别。具体如下：

# -*- coding: utf-8 -*-
from __future__ import division, print_function, absolute_import

from libs.configs import cfgs

if cfgs.DATASET_NAME == 'ship':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'ship': 1
    }
elif cfgs.DATASET_NAME == 'aeroplane':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'aeroplane': 1
    }
elif cfgs.DATASET_NAME == 'WIDER':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'face': 1
    }
elif cfgs.DATASET_NAME == 'jyzdata':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'classone': 1,
        'boli': 2,
        'dangeboli': 3,
        'taoci': 4,
        'taoci2': 4
    }
elif cfgs.DATASET_NAME == 'icdar':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'text': 1
    }
elif cfgs.DATASET_NAME.startswith('DOTA'):
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'roundabout': 1,
        'tennis-court': 2,
        'swimming-pool': 3,
        'storage-tank': 4,
        'soccer-ball-field': 5,
        'small-vehicle': 6,
        'ship': 7,
        'plane': 8,
        'large-vehicle': 9,
        'helicopter': 10,
        'harbor': 11,
        'ground-track-field': 12,
        'bridge': 13,
        'basketball-court': 14,
        'baseball-diamond': 15
    }
elif cfgs.DATASET_NAME == 'pascal':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'aeroplane': 1,
        'bicycle': 2,
        'bird': 3,
        'boat': 4,
        'bottle': 5,
        'bus': 6,
        'car': 7,
        'cat': 8,
        'chair': 9,
        'cow': 10,
        'diningtable': 11,
        'dog': 12,
        'horse': 13,
        'motorbike': 14,
        'person': 15,
        'pottedplant': 16,
        'sheep': 17,
        'sofa': 18,
        'train': 19,
        'tvmonitor': 20
    }
elif cfgs.DATASET_NAME == 'pcb':
    NAME_LABEL_MAP = {
        'back_ground': 0,
        'missing_hole': 1,
        'mouse_bite': 2,
        'open_circuit': 3,
        'short': 4,
        'spur': 5,
        'spurious_copper': 6
    }
else:
    assert 'please set label dict!'


def get_label_name_map():
    reverse_dict = {}
    for name, label in NAME_LABEL_MAP.items():
        reverse_dict[label] = name
    return reverse_dict

LABEl_NAME_MAP = get_label_name_map()

然后就可以运行convert_data_to_tfrecord.py了。别忘了填上四个参数。

python convert_data_to_tfrecord.py --VOC_dir='***/VOCdevkit/VOCdevkit_train/' --save_name='train' --img_format='.jpg' --dataset='ship'

5.数据转换
下一步，需要分别将训练和测试数据转换成 TFrecord 格式。该格式是TensorFlow的高效存储格式，连续的内存二进制存储能够有效的加快数据的读取和写入。而像原始文件夹那样每个数据独立存储。

python convert_data_to_tfrecord.py --VOC_dir='***/data/pcb_test/' --save_name='test' --img_format='.jpg' --dataset='pcb'

python convert_data_to_tfrecord.py --VOC_dir='***/data/pcb_train/' --save_name='train' --img_format='.jpg' --dataset='pcb'

# 上一步训练、测试数据分离后的文件夹路径
--VOC_dir='你的数据路径' 

#tfrecord名字。训练数据用'train' ,测试数据用'test'
--save_name='train' 

#你的图片格式。有Png\tif\jpeg
--img_format='.jpg' 

#你的数据集名字。这个需要在/libs/label_name_dict/label_dict.py中添加自己的数据集
--dataset='mydataset

生成之后的样子和位置如下：
在这里插入图片描述
该文件大小很大，几个G。
6.参数设置

对应里面的model，应先下载好预训练模型，放在 /data/pretrained_weights/ 中。

预训练模型的下载地址：
Res101: resnet_v1_101_2016_08_28.tar.gz.
Res50: resnet_v1_50_2016_08_28.tar.gz.

数据准备好了，那么训练就要调参和调一些路径啦。打开/libs/configs/cfgs.py。

# -*- coding: utf-8 -*-
from __future__ import division, print_function, absolute_import
import os
import tensorflow as tf
# ------------------------------------------------
VERSION = 'FPN_Res101_0117_OHEM'#-----------------改
NET_NAME = 'resnet_v1_101'#-----------------改
ADD_BOX_IN_TENSORBOARD = True

# ---------------------------------------- System_config
ROOT_PATH = os.path.abspath('/Xia-Detection-for-PCB的绝对路径')#工程文件绝对路径-----------------改
print (20*"++--")
print (ROOT_PATH)
GPU_GROUP = "2"
SHOW_TRAIN_INFO_INTE = 10
SMRY_ITER = 100
SAVE_WEIGHTS_INTE = 10000

SUMMARY_PATH = ROOT_PATH + '/output/summary'
TEST_SAVE_PATH = ROOT_PATH + '/tools/test_result'
INFERENCE_IMAGE_PATH = ROOT_PATH + '/tools/inference_image'
INFERENCE_SAVE_PATH = ROOT_PATH + '/tools/inference_results'

if NET_NAME.startswith("resnet"):
    weights_name = NET_NAME
elif NET_NAME.startswith("MobilenetV2"):
    weights_name = "mobilenet/mobilenet_v2_1.0_224"
else:
    raise NotImplementedError

PRETRAINED_CKPT = ROOT_PATH + '/data/pretrained_weights/' + weights_name + '.ckpt'
TRAINED_CKPT = os.path.join(ROOT_PATH, 'output/trained_weights')

EVALUATE_DIR = ROOT_PATH + '/output/evaluate_result_pickle/'
test_annotate_path = '/pcb数据集/PCB_DATASET/Annotations/'#绝对路径-----------------改

# ------------------------------------------ Train config
RESTORE_FROM_RPN = False
IS_FILTER_OUTSIDE_BOXES = False
FIXED_BLOCKS = 0  # allow 0~3
USE_07_METRIC = False

RPN_LOCATION_LOSS_WEIGHT = 1.
RPN_CLASSIFICATION_LOSS_WEIGHT = 1.0

FAST_RCNN_LOCATION_LOSS_WEIGHT = 1.0
FAST_RCNN_CLASSIFICATION_LOSS_WEIGHT = 1.0
RPN_SIGMA = 3.0
FASTRCNN_SIGMA = 1.0

MUTILPY_BIAS_GRADIENT = None   # 2.0  # if None, will not multipy
GRADIENT_CLIPPING_BY_NORM = None   # 10.0  if None, will not clip

EPSILON = 1e-5
MOMENTUM = 0.9
LR = 0.001  # 0.001  # 0.0003
#DECAY_STEP = [60000, 80000]  # 50000, 70000
DECAY_STEP = [10000, 20000]  # 50000, 70000
#MAX_ITERATION = 150000
MAX_ITERATION = 30000

# ------------------------------------------- Data_preprocess_config
DATASET_NAME = 'pcb'  # 'ship', 'spacenet', 'pascal', 'coco' #-----------------改
# PIXEL_MEAN = [123.68, 116.779, 103.939]  # R, G, B. In tf, channel is RGB. In openCV, channel is BGR
PIXEL_MEAN = [21.25, 85.936, 28.729]  #-----------------改
IMG_SHORT_SIDE_LEN =  600  # 600
IMG_MAX_LENGTH =  3000  # 1000
CLASS_NUM = 6 #-----------------改

# --------------------------------------------- Network_config
BATCH_SIZE = 1
INITIALIZER = tf.random_normal_initializer(mean=0.0, stddev=0.01)
BBOX_INITIALIZER = tf.random_normal_initializer(mean=0.0, stddev=0.001)
WEIGHT_DECAY = 0.00004 if NET_NAME.startswith('Mobilenet') else 0.0001

# ---------------------------------------------Anchor config
USE_CENTER_OFFSET = False

LEVLES = ['P2', 'P3', 'P4', 'P5', 'P6']
# BASE_ANCHOR_SIZE_LIST = [32, 64, 128, 256, 512]  # addjust the base anchor size for voc.
BASE_ANCHOR_SIZE_LIST = [15, 25, 40, 60, 80]  # addjust the base anchor size for voc.
#BASE_ANCHOR_SIZE_LIST = [8, 15, 25, 40, 60]
ANCHOR_STRIDE_LIST = [4, 8, 16, 32, 64]
ANCHOR_SCALES = [2., 3., 4.]
ANCHOR_RATIOS = [2., 3., 4., 5.]
# ANCHOR_SCALES = [1.0]
# ANCHOR_RATIOS = [0.5, 1., 2.0]
ROI_SCALE_FACTORS = [10., 10., 5.0, 5.0]
ANCHOR_SCALE_FACTORS = None

# --------------------------------------------FPN config
SHARE_HEADS = True
KERNEL_SIZE = 3
RPN_IOU_POSITIVE_THRESHOLD = 0.7
RPN_IOU_NEGATIVE_THRESHOLD = 0.3
TRAIN_RPN_CLOOBER_POSITIVES = False

RPN_MINIBATCH_SIZE = 256
RPN_POSITIVE_RATE = 0.5
RPN_NMS_IOU_THRESHOLD = 0.7
RPN_TOP_K_NMS_TRAIN = 12000
#RPN_MAXIMUM_PROPOSAL_TARIN = 2000
RPN_MAXIMUM_PROPOSAL_TARIN = 2000

RPN_TOP_K_NMS_TEST = 6000
RPN_MAXIMUM_PROPOSAL_TEST = 1000

# specific settings for FPN
# FPN_TOP_K_PER_LEVEL_TRAIN = 2000
# FPN_TOP_K_PER_LEVEL_TEST = 1000

# -------------------------------------------Fast-RCNN config
ROI_SIZE = 14
ROI_POOL_KERNEL_SIZE = 2
#USE_DROPOUT = False
USE_DROPOUT = True
KEEP_PROB = 1.0
SHOW_SCORE_THRSHOLD = 0.6  # only show in tensorboard

#FAST_RCNN_NMS_IOU_THRESHOLD = 0.3  # 0.6
FAST_RCNN_NMS_IOU_THRESHOLD = 0.3
FAST_RCNN_NMS_MAX_BOXES_PER_CLASS = 100
FAST_RCNN_IOU_POSITIVE_THRESHOLD = 0.5
FAST_RCNN_IOU_NEGATIVE_THRESHOLD = 0.0   # 0.1 < IOU < 0.5 is negative
FAST_RCNN_MINIBATCH_SIZE = 256  # if is -1, that is train with OHEM
# FAST_RCNN_MINIBATCH_SIZE = -1
FAST_RCNN_POSITIVE_RATE = 0.25

#ADD_GTBOXES_TO_TRAIN = False
ADD_GTBOXES_TO_TRAIN = True

注意配置好路径，和参数。
7.训练

python /tools/train.py

等着训练完成吧。

8.验证测试

cd $PATH_ROOT/tools
python inference.py --data_dir='/PATH/TO/IMAGES/' 
                    --save_dir='/PATH/TO/SAVE/RESULTS/' 
                    --GPU='0'

训练完之后会在output/summary文件夹里，生成
在这里插入图片描述

9.效果

发现效果根训练的迭代次数有很大关系，迭代迭代次数越多，训练时间越长，一开始训练了两天时间，30000的迭代值。
在这里插入图片描述
10.mAP值等性能指标
在这里插入图片描述

需要源代码包的私信我就可啦。期待下一次的实战项目。

夏融化了这季节
关注
  • 10
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
专栏目录
R2CNN_FPN_Tensorflow：R2CNN：基于FPN的旋转区域CNN（Tensorflow）
02-06
R2CNN：用于方向鲁棒场景检测的旋转区域CNN推荐改进代码： : 基于的FPN或R2CNN检测框架的Tensorflow实现。 您可以参考论文或其他旋转检测方法参考 ， 和 如果对您有用，请加注星标以支持我的工作。 谢谢。引文基于此...
FPN_Tensorflow：FPN检测框架的Tensorflow实现
02-06
FPN检测框架的Tensorflow实现。 您可以参考论文《 基于FPN参考 ， 和和旋转检测方法如果对您有用，请加注星标以支持我的工作。 谢谢。 配置环境 ubuntu（在Windows上可能会出现编码问题）+ python2 + tensorflow1.2...
【总结】工业缺陷检测-机器视觉方法整理
weixin_44505185的博客
09-23 2451
【总结】工业缺陷检测-机器视觉方法整理
FPN：特征图金字塔网络
m0_55308155的博客
04-26 8780
1. 论文简介 论文名：Feature Pyramid Networks for Object Detection 论文地址：FPN 论文作者：Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie 论文时间：2016年CVPR 说明：FPN可以实现端到端训练；使得模型精度更高；且不增加推理时间。使用了FPN结构的Faster R-CNN在COCO数据集上，mAP提升.
【超详细】基于YOLOv8的PCB缺陷检测
最新发布
weixin_45679938的博客
05-16 3238
印刷电路板（PCB）瑕疵数据集：是一个公共的合成PCB数据集，由北京大学发布，其中包含1386张图像以及6种缺陷（缺失孔，鼠标咬伤，开路，短路，杂散，伪铜），用于检测，分类和配准任务。本文我们选取了其中适用与检测任务的693张图像，随机选择593张图像作为训练集，100张图像作为验证集。
PCB缺陷数据集2772张-VOC格式标签-yolo格式标签
05-07
1、该数据集用于PCB缺陷识别检测，缺陷一共有2772张，由于上传文件大小受限，目前只能上传693张，剩下部分请留下邮箱。 2、缺陷类别为6种，分别为标签分别包含为Missing_hole、Mouse_bite、Open_circuit、Short、Spur、Spurious_copper。 3、标签格式为yolo格式（txt文件）或voc格式（xml文件） 4、标注精确，数据分布均匀，可拟合较好的模型。 ps:使用过程有问题可以私信于我。
YOLOv5实战之输电线路绝缘子缺陷检测识别
qq_40716944的博客
10-29 9156
本教程主要是利用YOLOv5算法实现对输电线路绝缘子缺陷进行检测识别。通过无人机搭载相机头云台对输电线路上的绝缘子进行数据采集，挑选出绝缘子上有故障的图片数据，共2000张左右图片，输电线路绝缘子缺陷数据集中的部分图片如下图所示。​​对收集到的2000张左右绝缘子缺陷数据集进行数据标注， 标注了3种常见的绝缘子缺陷类型：insulator、damaged、Flashover，利用LabelImg标注软件对数据进行标注，对标注后的数据进行统计，3种缺陷的标签分布情况如下图所示。​
基于yolov5的PCB缺陷检测
liguiyuan的博客
05-24 4837
使用北京大学公开的PCB数据集，包含1386张图像，具有6种缺陷类型分别为：漏孔、鼠咬、开路、短路、杂散、杂铜。北京大学智能机器人开放实验室。
基于深度学习的智能PCB板缺陷检测系统（Python+清新界面+数据集）
yy的博客
07-09 1918
我们通过设定不同的置信度的阈值，可以得到在模型在不同的阈值下所计算出的p值和r值，一般情况下，p值和r值是负相关的，绘制出来可以得到如下图所示的曲线，其中曲线的面积我们称AP，目标检测模型中每种目标可计算出一个AP值，对所有的AP值求平均则可以得到模型的mAP值。日常使用的软件颜值非常重要，首先我们还是通过动图看一下识别的效果，系统主要实现的功能是对图片、视频和摄像头画面中的线路进行识别，识别的结果可视化显示在界面和图像中，另外提供多个缺陷处的显示选择功能，演示效果如下。的UI界面和训练数据集。
基于yolov5的PCB缺陷检测，引入CVPR 2023 BiFormer：Vision Transformer with Bi-Level Routing Attention提升检测精度
03-23 4146
基于yolov5的PCB缺陷检测，通过不同优化，如CVPR 2023 BiFormer：Vision Transformer with Bi-Level Routing Attention，提升检测精度
FPN_Tensorflow-master.zip
06-18
标题"FPN_Tensorflow-master.zip"揭示了这是一个基于TensorFlow实现的FPN（Feature Pyramid Network）项目的源代码压缩包。FPN是深度学习领域中的一个关键架构，主要用于对象检测任务，它能有效地处理不同尺度的目标...
PCB板缺陷检测数据集（北京大学693数据增强，6930）
02-04
PCB板缺陷检测数据集（北京大学693数据增强，6930）
PCB板缺陷目标检测数据集VOC格式693张6类别.zip
08-11
数据集格式：Pascal VOC格式(不包含分割路径的txt文件和yolo格式的txt文件，仅仅包含jpg图片和对应的xml) 图片数量(jpg文件个数)：693 标注数量(xml文件个数)：693 标注类别数：6 标注类别名称:["missing_hole","spurious_copper","spur","mouse_bite","open_circuit","short"] 每个类别标注的框数： missing_hole count = 497 spurious_copper count = 503 spur count = 488 mouse_bite count = 492 open_circuit count = 482 short count = 491 使用标注工具：labelImg 标注规则：对类别进行画矩形框 重要说明：暂无 特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注
目标检测-数据集-PCB缺陷识别
03-16
PCB缺陷数据，实际产线收集，数据宝贵，已经分类。
FPN_Tensorflow
12-08
**FPN_Tensorflow: TensorFlow 实现的特征金字塔网络** ...通过深入研究和实践TensorFlow中的FPN实现，你将能够更好地掌握深度学习在目标检测中的应用，为进一步的计算机视觉项目打下坚实的基础。
FPN_Tensorflow：这是用于对象检测的特征金字塔网络的张量流重新实现
02-06
基于FPN的。 支持多GPU培训！ 抽象 这是的的张量流重新实现。 该项目基于 ，由和完成。 对VOC 2007进行培训，对VOC 2007进行测试（PS。该项目还支持可可培训。） 比较方式 use_voc2007_metric 楷模 地图 羊 马 ...
工业缺陷检测项目实战(一)——基于opencv的工件缺陷检测C++和python实现
热门推荐
weixin_39735688的博客
11-17 2万+
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
基于YOLOv8的PCB缺陷检测系统（Python源码+Pyqt6界面+数据集）
04-09 2129
基于YOLOv8的PCB缺陷检测系统，并阐述了整个数据制作和训练可视化过程， 最后通过Pyside UI界面进行展示。
Feature Pyramid Networks for Object Detection 总结
生如蚁，美如神
11-21 1万+
最近在阅读FPN for object detection,看了网上的很多资料，有些认识是有问题的，当然有些很有价值。下面我自己总结了一下，以供参考。 1. FPN解决了什么问题？答： 在以往的faster rcnn进行目标检测时，无论是rpn还是fast rcnn，roi 都作用在最后一层，这在大目标的检测没有问题，但是对于小目标的检测就有些问题。因为对于小目标来说，当进行卷积池化到最后一层，实际
faster rcnn fpn_TensorFlow Eager 复现 FPN
05-22
好的，我可以为您提供一些关于复现 FPN 的建议。 首先，您需要先了解 Faster R-CNN 和 FPN 的原理和结构。Faster R-CNN 是一个目标检测算法，它使用深度神经网络来检测图像中的目标，而 FPN 则是一种用于图像特征金字塔的网络结构，用于提取不同尺度的特征。 接下来，您可以使用 TensorFlow Eager 来构建和训练您的模型。TensorFlow Eager 是 TensorFlow 的一个动态图执行引擎，它允许您在 Python 中直接编写和运行 TensorFlow 代码，使得模型构建和调试更加方便。 在构建模型时，您可以使用 TensorFlow 提供的一些预训练模型，例如 ResNet 和 Inception 等，作为模型的特征提取器。然后，您可以在这个基础上添加 Faster R-CNN 和 FPN 的结构进行目标检测。 最后，您需要选择合适的数据集进行训练和测试。常用的数据集包括 COCO、PASCAL VOC 等。您可以使用 TensorFlow 提供的数据加载和预处理 API 进行数据的读取和处理。 需要注意的是，复现 FPN 需要一定的深度学习知识和编程经验。如果您是初学者，建议先学习深度学习和 TensorFlow 的基础知识，再尝试复现 FPN。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夏融化了这季节

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值