如何使用yolov8训练自己的数据集之——大规模电气数据集绝缘子，变电站，太阳能光伏，红外缺陷，电力电网电气设备相关数据集

置顶计算机c9硕士算法工程师

已于 2024-11-11 10:49:05 修改

阅读量1.4k

点赞数 30

分类专栏：电力设备红外数据集电力电气领域数据集文章标签： YOLO 目标检测无人机

于 2024-10-26 06:12:43 首次发布

本文链接：https://blog.csdn.net/2401_88441190/article/details/143247507

版权

电力电气领域数据集同时被 2 个专栏收录

119 篇文章

订阅专栏

电力设备红外数据集

28 篇文章

订阅专栏

大规模电气数据集数据集无人机航拍输电线绝缘子配电站 PCB板风力发电缺陷数据集等100类电气设备相关数据集电网相关应用研究数据集输电线异物数据集绝缘子缺陷数据集红外与可见光数据集变电站数据集太阳能发电板数据集人员作业数据集 PCB板风力叶片数据等

该数据集主要关注输电线路航拍图像中的杆塔及金具检测任务，包含了不同类型的目标，并且提供了详细的标注信息。电气数据集类型

1.输电线路异物数据集（4500张+VOC）

2.输电线路鸟巢数据集（2000多张+VOC）

3.输电线路鸟种数据集（8000张+VOC）
4.输电线路绝缘子缺陷（4000多张+VOC）

5.配电电力部件缺陷（700多张+txt标签）
6.电力线红外与可见光图像（8000+VOC）

7.输电线路杆塔数据集（1000多张+VOC）

8.电线杆、电箱、井盖、标石（2000张+VOC）

9.电子换向器缺陷数据集（200多张+分割标签）
10.电网厂站接线图识别数据集（几十张+传统方法）
11.变电站作业人员安全行为检测数据集（2300左右+voc）

12.145G输电线路无人机巡检图像（2万多张）
13.复合绝缘子憎水性等级识别图像数据
14.电机红外图像数据集（200多张）
15.变压器红外图像数据集（300多张）

16.PCB板缺陷数据集（2000左右+VOC）

17.电机异常声音识别数据集（Excel）
18.太阳能发电板缺陷数据集（2600多张+VOC）
19.输电线路金具及其缺陷数据集（2000张+voc）
20.变电站作业人员高空作业检测数据集（图片）
21.无人机航拍火焰数据集（29k张高清航拍影像用于yolo）

22.光伏电池板分割数据集（4000+分割标签）
23.配网缺陷检测无人机航拍图像数据集，

（不规范绑扎，螺栓销钉缺失）数据集总共3000张左右，标注为voc格式
24.采集板、继电器、交流接触器、驱动板分类数据集（识别分类）
25.电网铝导体复合芯线X射线扫描数据集（3万多+6类缺陷）
26.太阳能电池板缺陷数据集（json+1200张左右）

27.配网绝缘子缺陷检测数据集（7000张左右+txt标签）
28.绝缘子闪络、破损等缺陷检测数据集（1000多张）

29.太阳能组件接线盒焊接数据集（7000+labme标签）
30.电流电压表文本检测数据集（494+voc）
31. 安全帽检测数据集（3000多+voc）
32. 太阳能发电量数据（excel）
33.变电站识别规范穿戴工作服数据集（3000左右图片）
34. 安全帽与反光衣检测数据集（几百张）

35. 铁路旁边电气设备检测数据集（4000多+voc）
36.风力涡轮机叶片缺陷数据集（6个不同损伤程度和粗糙度+分割标签）
37. 绝缘子缺陷检测数据集（296+分割标签）
38. 变电站设备红外图像（200张不到）
39. 安全帽佩戴规范性数据集（3500+voc）
40. 输电线路可见光与红外图像数据集（带分割）
41. 输电线路巡检防振锤检测数据集（2231张）
42. 89类家电logo检测数据集（3975+voc）
43. 电力电子常用元件检测数据集（11类+440张+voc）
44. 光伏板热成像缺陷数据集（227张）
45. 高压线路提取数据集（714张+分割图）
46. 变压器油温预测数据集（2年-7万多数据点）
47. 输电线路点云图+可见光图+热力图
48. 电力表（263张脱敏电表OCR图片，标注电表读数和编号）
49. 变电站安全帽佩戴数据集（3248张+voc）
50. 400多G无人机配网巡检图像数据集（4万张左右）
51. 电网防外力破坏检测数据集（2800张+voc）
52.GIS绝缘子表面缺陷相间局部放电数据集（1200张图）
53. PCB板缺陷检测数据集（664张+2类+VOC）
54. 区域能源规划数据（excel）
55. PCB板品牌分类数据集（27个分类）
56. 安全帽佩戴规范性检测数据集（3500张+VOC+头发与安全帽的关系）
57. 风力涡轮机叶片 SfM 三维重建图像（531张）
58. 电动机温度数据集（excel）
59. 电池片焊点定位数据集（1500左右+json）
60. 电网遥感目标检测数据集（1500左右+json+分割）
61. 家庭用电负荷预测数据（excel）
62. 2017-2019风力发电预测数据（风速、转速、发电量）
63. 2019年德国四家公司风力发电数据
64. 风力涡轮机表面损坏检测数据集（1万多张+yolo格式标签）
65. 变电站缺陷检测数据集（不到1万+voc标签）
66. 复合绝缘子憎水性等级识别数据集（4536+HC1-HC7等级+每类600左右）
67. 电力系统微网故障检测数据集及代码
68. 电厂远程损伤检测图像数据集（太阳能电池板大、小规格+红外热图与风力涡轮机缺陷图像）
69.风力涡轮机的无人机巡检图像（500左右+高清+无标签）
70. 光伏系统热成像异常检测数据集（120张+matlab代码）
71. 输电杆塔与电力线航拍图像语义分割数据集（1242+json分割标签）
72. 电力设备内部绝缘油泄漏检测图像数据集（300多张数据+VOC标签）
73. 电力线分割提取数据集（200左右张+matlab版本分割掩码）
74. 电表检测数据集（3000多张+voc+多种表型）
75. 输电线路绝缘子检测数据集（556张+异物覆盖绝缘子、绝缘子、杆塔+txt标签）
76. 遥感风力涡轮机检测数据集（2600多张+txt标签）
77. 风电机组故障诊断数据集（excel+参考paper）
78. H型配电线路目标检测数据集（5类目标+12000多张+yolo格式+表格标签）
79. 输电线路树障数据集（无人机航拍图➕500多张）
80. 变压器套管红外图像（可见光与红外图一一对应+共240张）
81. 巡线电力安全帽数据集（295张➕voc）
82. 电力安全帽检测（3437张➕voc）
83. 输电线路实例分割数据集（1240多张➕json标签➕分割掩码）
84. GIS局部放电缺陷检测数据集（4243+VOC标签）
85. GIS局部放电缺陷检测数据集（4243张+4分类）
86. 配电室状态检测数据集（200多张+coco+voc标签）
87. 多晶电池组件EL图片缺陷检测（300多张+coco标签+voc标签）
88. 10kV单芯电缆早期故障识别数据集(4种状态+54个特征+excel数据)
89. 电力发电机局部放电相分模式图像识别数据集(900多张+3类放电)
90. 33_11 KV 变电站电力负荷预测数据集(8000多数据+电压、电流功率因数、节日、温湿度等)
91. 基于充电站能量差异的电动汽车路径(100个客户+21个充电站+1个车辆段)
92. 输电线路巡检目标检测数据集(1400多张+voc)
93. 动力电池隔膜缺陷分業教集（6000张左右＋褶皱、起泡2类）
94. 电网典型电力作业现场行为检测效据集（2400不到+VOC）
95. 电网典型作业现场防高坠类违章检测（2400+VOC）
96. 风力机损伤检测（3600多张+9类+json标签）
97.新能源汽车动力电池健康及寿命预测
98. 29辆新能源车电池模组充放电教据
99. 热复合动力电池膜缺陷检測（60几张+VOC）
100. 遥感图像下瑜电杆塔及其通道环境检測（1200张+VOC＋掩码）
101. 输电线路航拍图像杆塔及金具检测（200原图左右+5类）

数据集特点

高清影像：所有图像均为高清影像，适合用于精确的目标检测。
详细标注：每张图像都标注了杆塔及金具的位置，可以用于训练模型来识别这些目标。
多样性：涵盖了不同环境条件下的杆塔及金具场景，适用于多种环境下的应用。
直接可用性：数据集已按照标准VOC格式标注，无需进一步处理即可直接用于模型训练。
多类别：数据集中标注了多种目标，适合进行多目标检测任务。

数据集结构

PowerLineTowerAndHardwareDetectionDataset/
├── images/  # 图像文件
│   ├── train/  # 训练集图像
│   │   ├── image_00001.jpg
│   │   ├── image_00002.jpg
│   │   └── ...
│   ├── val/  # 验证集图像
│   │   ├── image_00001.jpg
│   │   ├── image_00002.jpg
│   │   └── ...
│   └── test/  # 测试集图像（如果存在）
│       ├── image_00001.jpg
│       ├── image_00002.jpg
│       └── ...
├── annotations_voc/  # VOC/Pascal VOC格式标注
│   ├── train/  # 训练集标注
│   │   ├── image_00001.xml
│   │   ├── image_00002.xml
│   │   └── ...
│   ├── val/  # 验证集标注
│   │   ├── image_00001.xml
│   │   ├── image_00002.xml
│   │   └── ...
│   └── test/  # 测试集标注（如果存在）
│       ├── image_00001.xml
│       ├── image_00002.xml
│       └── ...
└── annotations_json/  # JSON格式分割标签
    ├── train/  # 训练集标签
    │   ├── image_00001.json
    │   ├── image_00002.json
    │   └── ...
    ├── val/  # 验证集标签
    │   ├── image_00001.json
    │   ├── image_00002.json
    │   └── ...
    └── test/  # 测试集标签（如果存在）
        ├── image_00001.json
        ├── image_00002.json
        └── ...

标注格式示例

VOC/Pascal VOC格式

每个XML文件包含图像信息和标注信息：

<annotation>
    <folder>images</folder>
    <filename>image_00001.jpg</filename>
    <path>/path/to/images/image_00001.jpg</path>
    <source>
        <database>Unknown</database>
    </source>
    <size>
        <width>640</width>
        <height>480</height>
        <depth>3</depth>
    </size>
    <segmented>0</segmented>
    <object>
        <name>tower</name>
        <pose>Unspecified</pose>
        <truncated>0</truncated>
        <difficult>0</difficult>
        <bndbox>
            <xmin>100</xmin>
            <ymin>150</ymin>
            <xmax>200</xmax>
            <ymax>300</ymax>
        </bndbox>
    </object>
    <object>
        <name>hardware</name>
        <pose>Unspecified</pose>
        <truncated>0</truncated>
        <difficult>0</difficult>
        <bndbox>
            <xmin>300</xmin>
            <ymin>250</ymin>
            <xmax>400</xmax>
            <ymax>350</ymax>
        </bndbox>
    </object>
</annotation>

JSON格式

每个JSON文件包含图像信息和分割标签：

{
    "image": {
        "id": "image_00001",
        "path": "/path/to/images/image_00001.jpg"
    },
    "objects": [
        {
            "category": "tower",
            "segmentation": {
                "mask": [
                    [100, 150],
                    [200, 300],
                    [200, 150],
                    [100, 300]
                ]
            }
        },
        {
            "category": "hardware",
            "segmentation": {
                "mask": [
                    [300, 250],
                    [400, 350],
                    [400, 250],
                    [300, 350]
                ]
            }
        }
    ]
}

使用该数据集进行模型训练

1. 数据预处理与加载

首先，我们需要加载数据并将其转换为适合YOLOv5等模型使用的格式。假设你已经安装了PyTorch和YOLOv5。

import os
from PIL import Image
import torch
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms
import xml.etree.ElementTree as ET

class PowerLineTowerAndHardwareDetectionDataset(Dataset):
    def __init__(self, image_dir, annotation_dir, transform=None):
        self.image_dir = image_dir
        self.annotation_dir = annotation_dir
        self.transform = transform
        self.image_files = [f for f in os.listdir(image_dir) if f.endswith('.jpg')]

    def __len__(self):
        return len(self.image_files)

    def __getitem__(self, idx):
        img_name = self.image_files[idx]
        img_path = os.path.join(self.image_dir, img_name)
        annotation_path = os.path.join(self.annotation_dir, img_name.replace('.jpg', '.xml'))

        # 加载图像
        image = Image.open(img_path).convert('RGB')
        if self.transform:
            image = self.transform(image)

        # 加载标注
        tree = ET.parse(annotation_path)
        root = tree.getroot()

        boxes = []
        labels = []
        for obj in root.findall('object'):
            category = obj.find('name').text.lower()
            if category == 'tower':
                class_id = 0
            elif category == 'hardware':
                class_id = 1
            else:
                continue
            
            bbox = obj.find('bndbox')
            xmin = int(bbox.find('xmin').text)
            ymin = int(bbox.find('ymin').text)
            xmax = int(bbox.find('xmax').text)
            ymax = int(bbox.find('ymax').text)
            
            boxes.append([xmin, ymin, xmax, ymax])
            labels.append(class_id)

        boxes = torch.tensor(boxes, dtype=torch.float32)
        labels = torch.tensor(labels, dtype=torch.int64)

        return image, boxes, labels

# 数据增强
transform = transforms.Compose([
    transforms.Resize((640, 640)),
    transforms.ToTensor(),
])

# 创建数据集
train_dataset = PowerLineTowerAndHardwareDetectionDataset(image_dir='PowerLineTowerAndHardwareDetectionDataset/images/train/', annotation_dir='PowerLineTowerAndHardwareDetectionDataset/annotations_voc/train/', transform=transform)
val_dataset = PowerLineTowerAndHardwareDetectionDataset(image_dir='PowerLineTowerAndHardwareDetectionDataset/images/val/', annotation_dir='PowerLineTowerAndHardwareDetectionDataset/annotations_voc/val/', transform=transform)

train_loader = DataLoader(train_dataset, batch_size=4, shuffle=True, num_workers=4)
val_loader = DataLoader(val_dataset, batch_size=4, shuffle=False, num_workers=4)

2. 构建模型

我们可以使用YOLOv5模型进行目标检测任务。假设你已经克隆了YOLOv5仓库，并按照其文档进行了环境设置。

git clone https://github.com/ultralytics/yolov5
cd yolov5
pip install -r requirements.txt

创建数据配置文件 data/power_line_tower_and_hardware_detection.yaml：

train: path/to/PowerLineTowerAndHardwareDetectionDataset/images/train
val: path/to/PowerLineTowerAndHardwareDetectionDataset/images/val
test: path/to/PowerLineTowerAndHardwareDetectionDataset/images/val  # 如果没有单独的测试集，可使用验证集作为测试集

nc: 2  # 类别数
names: ['tower', 'hardware']

3. 训练模型

使用YOLOv5进行训练。

python train.py --img 640 --batch 16 --epochs 100 --data data/power_line_tower_and_hardware_detection.yaml --weights yolov5s.pt --cache

4. 评估模型

在验证集上评估模型性能。

python val.py --img 640 --batch 16 --data data/power_line_tower_and_hardware_detection.yaml --weights runs/train/exp/weights/best.pt --task test

5. 推理

使用训练好的模型进行推理。

python detect.py --source path/to/test/image.jpg --weights runs/train/exp/weights/best.pt --conf 0.5

实验报告

实验报告应包括以下内容：

项目简介：简要描述项目的背景、目标和意义。
数据集介绍：详细介绍数据集的来源、规模、标注格式等。
模型选择与配置：说明选择的模型及其配置参数。
训练过程：记录训练过程中的损失变化、学习率调整等。
评估结果：展示模型在验证集上的性能指标（如mAP、准确率）。
可视化结果：提供一些典型样本的检测结果可视化图。
结论与讨论：总结实验结果，讨论可能的改进方向。
附录：包含代码片段、图表等补充材料。

依赖库

确保安装了以下依赖库：

pip install torch torchvision
pip install -r yolov5/requirements.txt

总结

这个输电线路航拍图像杆塔及金具检测数据集提供了丰富的标注数据，非常适合用于训练和评估目标检测模型。通过YOLOv5框架，可以方便地构建和训练高性能的目标检测模型。实验报告可以帮助你更好地理解和分析模型的表现，并为进一步的研究提供参考。由于数据集规模适中，建议在训练过程中使用数据增强技术以提高模型的泛化能力。