文献阅读笔记3——《EfficientDet for fabric defect detection based on edge computing》

基于边缘计算的织物缺陷检测

摘要

本文提出了低延迟、低功耗、易于升级的基于边缘计算的自动视觉检测系统。

背景

应用背景->传统的和深度学习
传统的:统计分析 频域分析 模型分析
织物缺点自动检测满足三个要求:

1.高速运行的生产线需要检测系统满足实时性和低响应延迟的要求。
2.产品的功耗要尽可能地低。
3.为了方便生产线升级,检测系统必须具有良好的规模化。

本文贡献:

1.将Efficientdet和边缘计算相结合的织物缺点自动检测系统,并将边缘装置应用于织物缺点检测。
2.为了提高模型的鲁棒性,扩充训练了数据集,并在五个不同的织物数据集上比较了EfficientDet与主流单阶段检测网络
3.为了适应边缘设备有限的计算资源,利用TensorRT对模型进行优化,并比较了云计算和边缘计算的相应延迟。

相关工作

(包括介绍传统缺陷检测方法和基于深度学习的检测方法,以及边缘计算的现状)

A.传统缺陷检测方法

举例各时期在该应用领域提出的算法,然后进行论述优缺点,然后引出下一条的改进方法
(这些方法的计算成本高,且对小缺陷具有较低的精度)

B.深度学习缺陷检测方法
(虽然深度学习方法在总体上优于传统方法,但其系统的部署往往需要大量的计算资源。当计算资源不足时,会严重降低系统的检测性能。)

C.边缘计算及其应用

方法

检测部分
算法上:
Efficientdet:轻量级、可扩展的主干网络、特征提取网络;参数和FLOPs:3.9M和2.54B,这在检测速度上有绝对的优势。
数据集上:
为了增强模型在真实工业场景中的鲁棒性,我们扩充了训练数据集,包括随机裁剪、翻转、模糊、亮度增益和噪声。

实验和讨论

配置:
配置Intel i7-5930K处理器(3500 MHz)、64gb内存和NVIDIA GeForce GTX TITAN X GPU的本地工作站
软件部分:Windows 10操作系统和Tensorflow 2.1深度学习框架。所有边缘实验均在NVIDIA Jetson TX2边缘设备
NVIDIA Jetson TX2是一款高效、快速的嵌入式人工智能(AI)计算设备。
** 数据集:**
样本缺乏->样本扩充:随机裁剪、模糊处理、亮度增益、翻转、噪声处理
9:1划分
图像大小为256*256
评价指标
fps和map
EfficientDet的Box预测网络时基于锚点的->参考yolo-v233锚点聚类
锚箱比

图表

图1 边缘计算部署视图
图2 缺陷检测方法总视图
图3 EfficientDet-D0结构
图4 基于Jetson TX2的检测装置
图5 5种面料数据集
图6 数据扩充
在这里插入图片描述
图7 5个数据集中不同模型检测结果的可视化比较。
在这里插入图片描述
图8 不同数据集检测精度比较
在这里插入图片描述
图9 不同模型的推理时间比较
在这里插入图片描述
图 11 EfficientDet -D0模型优化前后的比较
在这里插入图片描述
图12 检测结果
在这里插入图片描述
表1: 增强数据集的分布
表2: 5个数据集的锚箱比
在这里插入图片描述
表3 不同检测模型的map
在这里插入图片描述
表4 工作站推理时间
在这里插入图片描述

### Fully Convolutional Cross-Scale Flows (CS-Flow): 方法概述 Fully Convolutional Cross-Scale Flows (CS-Flow) 是一种用于图像缺陷检测的方法,其核心在于通过联合处理多尺度特征图并利用归一化流模型来估计输入样本的概率密度。这种方法不仅能够在图像层面实现高效的缺陷检测,还能够通过保留空间排列的方式解释潜在空间,从而精确定位图像中的缺陷区域。 #### CS-Flow 的基本原理 CS-Flow 基于归一化流(Normalizing Flow)的概念构建了一个全卷积网络框架。该方法的核心目标是对无监督或半监督条件下的正常图像分布进行建模,并基于此识别异常模式。具体而言,CS-Flow 使用了跨尺度的特征融合机制,使得模型可以同时捕捉全局和局部的信息[^2]。 #### 多尺度特征处理 为了更好地适应不同类型的缺陷表现形式,CS-Flow 设计了一种跨尺度架构,其中多个特征图被共同优化以反映不同的抽象层次。这种设计有助于增强模型对复杂背景变化以及细粒度细节的理解能力。通过对这些多层次特征的学习,CS-Flow 能够更精确地区分正常与异常情况下的视觉差异。 #### 归一化流的作用 在 CS-Flow 中引入了归一化流技术作为概率密度估计工具。这一部分负责将复杂的高维数据映射到简单的先验分布上,进而计算每张测试图片相对于训练集中“正常”样例集合所表现出的可能性得分。较低可能性分数通常指示存在某种形式上的偏离——即可能对应着某个特定位置处出现了表面瑕疵等问题现象。 #### 缺陷定位功能 除了提供整体级别的判断之外,由于保持住了原始像素之间的相对关系不变,在经过变换后的隐含向量里仍然保存有足够丰富的地理位置线索可供进一步挖掘分析之用;因此当发现某片区域具有显著不同于其他地方特性的数值特性时候,则可以直接回溯找到相应实际坐标范围内的疑似问题部位所在之处。 ```python import torch from csflow import CSFlowModel # Hypothetical module representing the CS-Flow model. def detect_defects(image_tensor, threshold=0.5): """ Detect defects in an input image tensor using CS-Flow. Args: image_tensor (torch.Tensor): Input image as a PyTorch Tensor of shape [C,H,W]. threshold (float): Probability threshold to classify regions as defective or not. Returns: Tuple[bool, List[Tuple[int]]]: Whether there is any defect present along with coordinates list. """ device = &#39;cuda&#39; if torch.cuda.is_available() else &#39;cpu&#39; model = CSFlowModel(pretrained=True).to(device) with torch.no_grad(): prob_map = model(image_tensor.unsqueeze(0)).squeeze().cpu().numpy() mask = prob_map < threshold coords = [(i,j) for i,row in enumerate(mask) for j,val in zip(range(len(row)), row) if val] has_defect = bool(coords) return has_defect, coords ``` 上述代码片段展示如何加载预训练好的 CS-Flow 模型并对单幅灰阶图像执行预测操作过程。最终输出包括是否存在缺陷标志以及所有可疑点坐标的列表形式结果集。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值