NEU钢板缺陷检测【数据集】
有论文出处 带钢表面缺陷strip steel
用于钢结构表面缺陷检测 用于目标检测算法,包括yolo系列等
缺陷种类:
收集了热轧钢带的6种典型表面缺陷
1.轧入氧化皮(RS)
2.斑块(Pa)
3.银纹(Cr)
4.麻面(PS)
5.夹杂物(In)
6.划痕(Sc)
文件包含
1. 图像:
1800张灰度图像(六种不同类型的典型表面缺陷各300个样本)
分辨率200×200
2. 标签 :
txt标签和xml标签
3.论文出处
NEU钢板缺陷检测数据集 (NEU Surface Defects Dataset)
数据集概述
该数据集是一个专门用于训练和评估钢板表面缺陷检测模型的数据集。数据集由东北大学(Northeastern University, NEU)提供,主要用于钢结构表面缺陷的自动检测。数据集包含1800张灰度图像,涵盖了6种典型的热轧钢带表面缺陷,每种缺陷有300个样本。这些图像具有统一的分辨率200×200像素,适用于基于深度学习的目标检测任务。通过这个数据集,可以训练出能够在复杂环境中准确检测和分类钢板表面缺陷的模型,从而帮助进行钢铁生产的质量控制。
数据集特点
- 高质量图像:数据集中的图像为高分辨率的灰度图像,能够提供丰富的细节信息,特别适合缺陷特征分析。
- 多类别缺陷:包含6种常见的热轧钢带表面缺陷,适用于复杂的缺陷分类任务。
- 标注格式多样:提供两种标注格式,包括Pascal VOC格式的XML文件和YOLO格式的TXT文件,方便直接使用于支持这两种格式的目标检测框架。
- 实际应用场景:适用于需要精确检测钢板表面缺陷的场景,如钢铁生产线上的自动检测系统、质量检验系统等。
数据集结构
深色版本
neu_surface_defects_dataset/
├── images/ # 图像文件
│ ├── 00001.jpg # 示例图像
│ ├── 00002.jpg
│ └── ...
├── annotations/ # 标注文件
│ ├── xml/ # Pascal VOC格式标注文件
│ │ ├── 00001.xml # 示例VOC标注文件
│ │ ├── 00002.xml
│ │ └── ...
│ ├── txt/ # YOLO格式标注文件
│ │ ├── 00001.txt # 示例YOLO标注文件
│ │ ├── 00002.txt
│ │ └── ...
├── data.yaml # 类别描述文件
├── README.md # 数据集说明
└── model/ # 预训练模型文件夹(可选)
└── neu_surface_defects_model.pt # 预训练模型(如果有的话)
数据集内容
-
images/
- 功能:存放图像文件。
- 内容:
00001.jpg
:示例图像。00002.jpg
:另一张图像。- ...
-
annotations/xml/
- 功能:存放Pascal VOC格式的XML标注文件。
- 内容:
00001.xml
:示例VOC标注文件。00002.xml
:另一张图像的VOC标注文件。- ...
-
annotations/txt/
- 功能:存放YOLO格式的TXT标注文件。
- 内容:
00001.txt
:示例YOLO标注文件。00002.txt
:另一张图像的YOLO标注文件。- ...
-
data.yaml
- 功能:定义数据集的类别和其他相关信息。
- 内容:
train: neu_surface_defects_dataset/images val: neu_surface_defects_dataset/images nc: 6 names: ['RS', 'Pa', 'Cr', 'PS', 'In', 'Sc'] # 轧入氧化皮, 斑块, 银纹, 麻面, 夹杂物, 划痕
-
README.md
- 功能:数据集的详细说明文档。
- 内容:
- 数据集的来源和用途。
- 数据集的结构和内容。
- 如何使用数据集进行模型训练和评估。
- 其他注意事项和建议。
-
model/
(可选)- 功能:存放预训练模型文件。
- 内容:
neu_surface_defects_model.pt
:预训练的模型文件(如果有的话)。
数据集统计
- 总图像数量:1800张
- 类别:6类
- 类别列表及图像数量:
RS
(轧入氧化皮):300张Pa
(斑块):300张Cr
(银纹):300张PS
(麻面):300张In
(夹杂物):300张Sc
(划痕):300张
- 环境准备:确保安装了常用的深度学习库,例如
torch
,torchvision
,numpy
等。 - 数据集路径设置:将数据集解压到项目目录下,并确保路径正确。
- 加载预训练模型:如果有预训练模型,可以直接加载并对其进行微调或直接使用。
- 数据增强:可以通过随机翻转、旋转等方法增加数据多样性,提高模型鲁棒性。
- 超参数调整:根据实际情况调整学习率、批大小等超参数,以获得最佳训练效果。
- 硬件要求:建议使用GPU进行训练和推理,以加快处理速度。如果没有足够的计算资源,可以考虑使用云服务提供商的GPU实例。
- 类别平衡:虽然数据集中各类别的样本数量相对均衡,但在实际应用中可能需要进一步检查并处理类别不平衡问题,例如通过过采样或欠采样方法。
关键代码示例
以下是一个使用PyTorch和torchvision
库进行钢板表面缺陷检测的示例代码。我们将使用预训练的YOLOv5模型,并对其进行微调以适应我们的数据集。
首先,确保你已经安装了YOLOv5的相关依赖。你可以通过以下命令安装YOLOv5:
git clone https://github.com/ultralytics/yolov5
cd yolov5
pip install -r requirements.txt
接下来是训练和评估模型的Python代码示例:
import torch
from pathlib import Path
import yaml
# 定义数据集配置文件路径
data_yaml = 'path/to/neu_surface_defects_dataset/data.yaml'
# 读取数据集配置
with open(data_yaml, 'r') as f:
data_config = yaml.safe_load(f)
# 设置YOLOv5的训练参数
hyp = 'yolov5/data/hyps/hyp.scratch-low.yaml' # 超参数配置文件
epochs = 100 # 训练轮数
batch_size = 8 # 批大小
imgsz = 200 # 输入图像大小
workers = 4 # 工作线程数
# 训练命令
train_command = f"python train.py --img {imgsz} --batch {batch_size} --epochs {epochs} --data {data_yaml} --cfg yolov5s.yaml --weights yolov5s.pt --name neu_surface_defects --workers {workers} --hyp {hyp}"
# 运行训练
!{train_command}
# 模型保存路径
model_path = 'runs/train/neu_surface_defects/weights/best.pt'
# 加载模型
model = torch.hub.load('ultralytics/yolov5', 'custom', path=model_path)
# 评估模型
val_command = f"python val.py --data {data_yaml} --weights {model_path} --img {imgsz} --batch-size {batch_size} --task test"
# 运行评估
!{val_command}
注意事项
- 数据格式:确保输入的数据格式正确,特别是图像文件和标注文件的格式。
- 超参数调整:根据实际情况调整学习率、批大小等超参数,以获得最佳训练效果。
- 硬件要求:建议使用GPU进行训练和推理,以加快处理速度。如果没有足够的计算资源,可以考虑使用云服务提供商的GPU实例。
- 数据增强:可以通过数据增强技术(如随机翻转、旋转等)来增加模型的鲁棒性。
- 模型选择:除了YOLOv5,还可以尝试其他目标检测模型,如Faster R-CNN、SSD等,以找到最适合当前任务的模型。
- 类别平衡:虽然数据集中各类别的样本数量相对均衡,但在实际应用中可能需要进一步检查并处理类别不平衡问题,例如通过过采样或欠采样方法。
通过上述步骤,你可以成功地使用这个高质量的钢板表面缺陷检测数据集进行模型训练和评估。该数据集不仅适用于学术研究,还可以应用于实际的钢铁生产质量控制等场景,帮助提升对钢板表面缺陷的检测准确性和效率。希望这个数据集能帮助你更好地理解和应用最新的深度学习技术。