2.基于xml标注信息数据增强

最新推荐文章于 2023-08-25 00:28:16 发布
最新推荐文章于 2023-08-25 00:28:16 发布
阅读量2k 收藏 25
点赞数 3
分类专栏： King of CV 计算机视觉 python技术栈 文章标签： xml python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25310669/article/details/126632317
版权

文章目录

问题背景

在目标检测的过程中，数据集是一个很重要的组成部分，可以让我们的识别事半功倍，当数据不够的时候，就需要用到数据增强。但是也希望带着标注信息，不想增强之后重新标注，那么就可以用本文的脚本。内容应该是在一个老哥的博客中找的。使用的是imgaug 技术。

相关概念

常用的数据增强方法有：
1.平移（Shift）变换：对原始图片在图像平面内以某种方式（预先定义或者随机方式确定平移的步长、范围及其方向）进行平移。
2.翻转（Flip）变换：沿竖直或者水平方向对原始图片进行翻转。
3.随机裁剪（Random Crop）：随机定义感兴趣区域以裁剪图像，相当于增加随机扰动。
4.噪声扰动（Noise）：对图像随机添加高斯噪声或者椒盐噪声等。
5.对比度变换（Contrast）：改变图像对比度，相当于在HSV空间中，保持色调分量H不变，而改变亮度分量V和饱和度S，用于模拟现实环境的光照变化。
6.缩放变换（Zoom）：以设定的比例缩小或者放大图像。
7.尺度变换（Scale）：与缩放变换有点类似，不过尺度变换的对象是图像内容而非图像本身（可以参考SIFT特征提取方法），构建图像金字塔以得到不同大小、模糊程度的图像。

参考资料

https://www.likecs.com/show-203663098.html python图像数据增强——imgaug （一）
https://blog.csdn.net/qq_40280673/article/details/125960440 深度学习之快速实现数据集增强的方法 （主要看的这篇）

解决方案

代码需要改动5个地方，分别是四个路径和一个增强倍数。

import xml.etree.ElementTree as ET
import pickle
import os
from os import getcwd
import numpy as np
from PIL import Image
import shutil
import matplotlib.pyplot as plt

import imgaug as ia
from imgaug import augmenters as iaa


ia.seed(1)


def read_xml_annotation(root, image_id):
    in_file = open(os.path.join(root, image_id))
    tree = ET.parse(in_file)
    root = tree.getroot()
    bndboxlist = []

    for object in root.findall('object'):  # 找到root节点下的所有country节点
        bndbox = object.find('bndbox')  # 子节点下节点rank的值

        xmin = int(bndbox.find('xmin').text)
        xmax = int(bndbox.find('xmax').text)
        ymin = int(bndbox.find('ymin').text)
        ymax = int(bndbox.find('ymax').text)
        # print(xmin,ymin,xmax,ymax)
        bndboxlist.append([xmin, ymin, xmax, ymax])
        # print(bndboxlist)

    bndbox = root.find('object').find('bndbox')
    return bndboxlist


# (506.0000, 330.0000, 528.0000, 348.0000) -> (520.4747, 381.5080, 540.5596, 398.6603)
def change_xml_annotation(root, image_id, new_target):
    new_xmin = new_target[0]
    new_ymin = new_target[1]
    new_xmax = new_target[2]
    new_ymax = new_target[3]

    in_file = open(os.path.join(root, str(image_id) + '.xml'))  # 这里root分别由两个意思
    tree = ET.parse(in_file)
    xmlroot = tree.getroot()
    object = xmlroot.find('object')
    bndbox = object.find('bndbox')
    xmin = bndbox.find('xmin')
    xmin.text = str(new_xmin)
    ymin = bndbox.find('ymin')
    ymin.text = str(new_ymin)
    xmax = bndbox.find('xmax')
    xmax.text = str(new_xmax)
    ymax = bndbox.find('ymax')
    ymax.text = str(new_ymax)
    tree.write(os.path.join(root, str("%06d" % (str(id) + '.xml'))))


def change_xml_list_annotation(root, image_id, new_target, saveroot, id,img_name):
    in_file = open(os.path.join(root, str(image_id) + '.xml'))  # 这里root分别由两个意思
    tree = ET.parse(in_file)
    elem = tree.find('filename')
    elem.text = (img_name + str("_%06d" % int(id)) + '.jpg')
    xmlroot = tree.getroot()
    index = 0

    for object in xmlroot.findall('object'):  # 找到root节点下的所有country节点
        bndbox = object.find('bndbox')  # 子节点下节点rank的值

        # xmin = int(bndbox.find('xmin').text)
        # xmax = int(bndbox.find('xmax').text)
        # ymin = int(bndbox.find('ymin').text)
        # ymax = int(bndbox.find('ymax').text)

        new_xmin = new_target[index][0]
        new_ymin = new_target[index][1]
        new_xmax = new_target[index][2]
        new_ymax = new_target[index][3]

        xmin = bndbox.find('xmin')
        xmin.text = str(new_xmin)
        ymin = bndbox.find('ymin')
        ymin.text = str(new_ymin)
        xmax = bndbox.find('xmax')
        xmax.text = str(new_xmax)
        ymax = bndbox.find('ymax')
        ymax.text = str(new_ymax)

        index = index + 1

    tree.write(os.path.join(saveroot, img_name + str("_%06d" % int(id)) + '.xml'))


def mkdir(path):
    # 去除首位空格
    path = path.strip()
    # 去除尾部 \ 符号
    path = path.rstrip("\\")
    # 判断路径是否存在
    # 存在     True
    # 不存在   False
    isExists = os.path.exists(path)
    # 判断结果
    if not isExists:
        # 如果不存在则创建目录
        # 创建目录操作函数
        os.makedirs(path)
        print(path + ' 创建成功')
        return True
    else:
        # 如果目录存在则不创建，并提示目录已存在
        print(path + ' 目录已存在')
        return False


if __name__ == "__main__":

    IMG_DIR = "F:/bbld/ldk/img_3"                  ### 原始数据集图像的路径
    XML_DIR = "F:/bbld/ldk/xml_3"              ### 原始xml文件的路径

# =============================================================================
#     AUG_XML_DIR = "./Annotations"  # 存储增强后的XML文件夹路径
# =============================================================================
    AUG_XML_DIR = "F:/bbld/ldk/xml_3_ext"              ### 数据增强后的xml文件的保存路径
    try:
        shutil.rmtree(AUG_XML_DIR)
    except FileNotFoundError as e:
        a = 1
    mkdir(AUG_XML_DIR)

# =============================================================================
#     AUG_IMG_DIR = "./JPEGImages"  # 存储增强后的影像文件夹路径
# =============================================================================
    AUG_IMG_DIR = "F:/bbld/ldk/img_3_ext"  ### 数据增强后图片的保存路径
    try:
        shutil.rmtree(AUG_IMG_DIR)
    except FileNotFoundError as e:
        a = 1
    mkdir(AUG_IMG_DIR)

    AUGLOOP = 10  # 每张影像增强的数量

    boxes_img_aug_list = []
    new_bndbox = []
    new_bndbox_list = []

    # 影像增强
    seq = iaa.Sequential([
        iaa.Flipud(0.5),  # vertically flip 20% of all images
        iaa.Fliplr(0.5),  # 镜像
        iaa.Multiply((1.2, 1.5)),  # change brightness, doesn't affect BBs
        iaa.GaussianBlur(sigma=(0, 3.0)),  # iaa.GaussianBlur(0.5),
        iaa.Affine(
            translate_px={"x": 15, "y": 15},
            scale=(0.8, 0.95),
            rotate=(-30, 30)
        )  # translate by 40/60px on x/y axis, and scale to 50-70%, affects BBs
    ])

    for root, sub_folders, files in os.walk(XML_DIR):

        for name in files:
            print(name)
            bndbox = read_xml_annotation(XML_DIR, name)
            shutil.copy(os.path.join(XML_DIR, name), AUG_XML_DIR)
            shutil.copy(os.path.join(IMG_DIR, name[:-4] + '.jpg'), AUG_IMG_DIR)

            for epoch in range(AUGLOOP):
                seq_det = seq.to_deterministic()  # 保持坐标和图像同步改变，而不是随机
                # 读取图片
                img = Image.open(os.path.join(IMG_DIR, name[:-4] + '.jpg'))
                # sp = img.size
                img = np.asarray(img)
                # bndbox 坐标增强
                for i in range(len(bndbox)):
                    bbs = ia.BoundingBoxesOnImage([
                        ia.BoundingBox(x1=bndbox[i][0], y1=bndbox[i][1], x2=bndbox[i][2], y2=bndbox[i][3]),
                    ], shape=img.shape)

                    bbs_aug = seq_det.augment_bounding_boxes([bbs])[0]
                    boxes_img_aug_list.append(bbs_aug)

                    # new_bndbox_list:[[x1,y1,x2,y2],...[],[]]
                    n_x1 = int(max(1, min(img.shape[1], bbs_aug.bounding_boxes[0].x1)))
                    n_y1 = int(max(1, min(img.shape[0], bbs_aug.bounding_boxes[0].y1)))
                    n_x2 = int(max(1, min(img.shape[1], bbs_aug.bounding_boxes[0].x2)))
                    n_y2 = int(max(1, min(img.shape[0], bbs_aug.bounding_boxes[0].y2)))
                    if n_x1 == 1 and n_x1 == n_x2:
                        n_x2 += 1
                    if n_y1 == 1 and n_y2 == n_y1:
                        n_y2 += 1
                    if n_x1 >= n_x2 or n_y1 >= n_y2:
                        print('error', name)
                    new_bndbox_list.append([n_x1, n_y1, n_x2, n_y2])
                # 存储变化后的图片
                image_aug = seq_det.augment_images([img])[0]
                path = os.path.join(AUG_IMG_DIR,
                                    name[:-4] + str( "_%06d" % (epoch + 1)) + '.jpg')
                image_auged = bbs.draw_on_image(image_aug, thickness=0)
                Image.fromarray(image_auged).save(path)

                # 存储变化后的XML
                change_xml_list_annotation(XML_DIR, name[:-4], new_bndbox_list, AUG_XML_DIR,
                                           epoch + 1,name[:-4])
                print( name[:-4] + str( "_%06d" % (epoch + 1)) + '.jpg')
                new_bndbox_list = []
余生的观澜
关注
  • 3
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VOC数据图片和xml同时增强
09-21
VOC数据图片和xml同时增强，包含旋转、平移、图片重新resize、加噪、随机切割等，同步生成xml文件，保证数据增强的图片与原图的bbox框不发生改变
数据扩充和数据预处理
算法小白
01-05 7893
参考：《解析深度学习——卷积神经网络原理与视觉实践》 网址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf                                                                                                  数据扩充 有效的数据扩充不仅能扩充训练样本数...
深度学习——数据增强代码实现
Yi__Ya的博客
05-27 526
https://www.cnblogs.com/dxscode/p/11733311.html
【目标检测】图片和xml数据增强
Father_of_Python的博客
03-30 548
图片和xml数据增强
【计算机视觉】数据获取、数据标注、数据增强的概念简介
showswoller的博客
12-10 1547
【计算机视觉】数据获取、数据标注、数据增强的概念简介
烟火检测数据集1+1000IMG+已标注.zip
12-31
Annotations 文件夹则可能存储了对应的标注信息，这些信息可能以XML或JSON等格式存在，描述了每张图像中的烟火位置和其他元数据。通过结合这两个文件夹的内容，开发者可以使用各种深度学习框架（如TensorFlow、...
火焰烟雾数据集4000张含标注xml
07-09
为了获得更好的结果，可能还需要进行数据增强，如翻转、缩放、旋转图像，以增加模型的泛化能力。 总的来说，"火焰烟雾数据集4000张含标注xml"是一个实用的资源，它允许研究人员和开发者构建强大的计算机视觉模型，...
.py基于YOLOV5口罩检测数据集+代码+训练好的模型+标注好的数据
11-23
在训练过程中，可能会涉及数据增强，这是一种技术，通过随机旋转、缩放、裁剪等操作增加训练数据的多样性，帮助模型更好地泛化。 此外，压缩包中还包括了已经训练好的模型，这可以直接用于口罩检测任务，无需从头...
基于yolov7的半自动数据标注
最新发布
05-07
它采用了更先进的网络结构和训练策略，比如Mosaic数据增强、 Mish激活函数以及自适应锚框等，这些都对提升模型的泛化能力有显著帮助。 数据标注是机器学习项目中的重要环节，尤其是对于目标检测任务，我们需要为每...
数据集-文本检测数据集-MSRA-包含标注信息
01-17
为了优化模型性能，研究人员可能会进行数据增强，如翻转、旋转、缩放等，以增加模型对不同情况的泛化能力。同时，评估指标也是关键，常见的有精确度（Precision）、召回率（Recall）和F1分数，以及在ICDAR（国际文档...
xml标签格式图片数据增强（图片和标签同时增强）
m0_59732626的博客
08-25 428
3.添加高斯噪声：修改标准差std_dev可改变添加效果。2.改变亮度：修改alpha参数可改变倍数。
序列标注任务数据增强
Jiassheng的博客
07-25 762
在上一篇文章我们学习了基本的数据增强的 N 种方法，今天我们针对“序列标注”任务具体聊一聊如何数据增强？“序列标注”是一个 token-level 的分类任务，当进行全局结构化预测时候，一些增强方式产生的数据噪音可能会让“序列标注”模型变得敏感脆弱，导致评估指标下降。本文主要讲解一篇论文对“序列标注”任务的数据增强方法： DAGA: Data Augmentation with a Generation Approach forLow-resource Tagging Tasks DAGA 本文提出了一
LabelImg，LabelMe工具标注后的图片数据增强
u012254599的博客
09-18 5829
这是一个目标检测和目标分割增强的小工具，需要您事先标记一些图片，然后变化增强图片(支持LabelIMg和LabelMe标注的文件)，图片数据增强，包括模糊，亮度，裁剪，旋转，平移，镜像。 1 目标检测图片数据增强（使用labelImg工具） 我们使用labelImg工具进行标注，会得到对应的xml文件，结果如下：    现在我们要实现一些图片增强，比如模糊，亮度，裁剪，旋转，...
数据处理之数据增强
weixin_43999691的博客
06-04 2523
对于深度学习拿到数据时，有时候样本数据太少，这时候就需要增加数据，可以利用数据增强来做，数据增强可以有效减少过拟合，更好地使模型适用于新的样本，目的是增强模型的泛化能力。 如何进行数据增强？比如拿到一张图片，可以通过随机裁剪，旋转、缩放和水平翻转等操作来生成多张相似的图像，这样样本就增加了。 具体操作代码 ...
深度学习样本标完后图片增强标签内容不变02
moonlightpeng的博客
06-30 628
dp
目标检测xml文件实现mixup数据增强（修改文件路径直接能用，非常方便）
RookiChen的博客
07-14 1038
目标检测中mixup数据增强，全代码无bug，可生成任意数量的数据集，修改文件路径即可使用，非常方便！
深度学习之数据增强脚本（支持Cutout，旋转，平移等操作并自动生成新的xml文件）
m0_59208577的博客
04-12 2114
在学习目标检测时，有时会发现数据量不够，这时候便需要对数据进行扩充，这里给出一个数据增强脚本，可用于使用目标检测算法时数据量太少的情况。 该脚本支持对输入的图片进行Cutout，旋转、翻转、平移、加噪声、调整亮度、剪裁、镜像等操作，输入图片文件夹的路径、以及对应xml文件的路径，运行代码即可进行数据增强，新生成的图片以及xml文件会保存在原图片以及xml路径下，对图片进行随机的操作后，会对xml文件的内容进行相应的修改，不需要自己手动重新标注。
Come on和我一起做基于深度学习的缺陷检测一(数据准备）
weixin_40970579的博客
05-08 2105
基于深度学习的织物疵点检测数据集的制作数据标注数据增强（图像和xml文件同时增强） 这里有几句话要说： 这个项目会持续更新，由于要忙于毕业答辩和论文修改，更新时间不定； 由于本人研三，今年毕业要去工作，可能会出现拖更的现象； 我把以前Python-OpenCV的相关博客删除了，因为这个OPENCV更新太快，发现有的已经没啥作用了，以后的博客尽量用矩阵运算的形式来编写代码。 数据集的制作 这里数...
数据增强时自动调整标签文件(标签有多个类别）
m0_50837237的博客
08-07 524
数据增强时自动调整标签文件(标签有多个类别）
用Python写一段扩充voc数据集的代码，要求扩充图片时同步调整标签
03-25
以下是一个简单的示例代码，可以将原始VOC数据集中的所有图像和标签进行水平镜像翻转处理，并保存到新的文件夹中。这个示例可以帮助你理解如何扩充VOC数据集并同时调整标签。 ```python import os from PIL import Image import xml.etree.ElementTree as ET # 原始VOC数据集的路径 data_dir = "VOCdevkit/VOC2007/" # 存储扩充后的数据集的路径 augmented_dir = "VOCdevkit/VOC2007_augmented/" # 创建目录 if not os.path.exists(augmented_dir): os.makedirs(augmented_dir) # 水平翻转函数 def horizontal_flip(image_path): with Image.open(image_path) as img: # 水平翻转图像 flipped_img = img.transpose(method=Image.FLIP_LEFT_RIGHT) # 获取新的文件名 basename = os.path.basename(image_path) flipped_basename = "flipped_" + basename # 保存新的图像 flipped_img_path = os.path.join(augmented_dir, flipped_basename) flipped_img.save(flipped_img_path) return flipped_img_path # 解析xml文件和扩充标签函数 def parse_xml_and_augment_labels(xml_path, flipped_img_path): tree = ET.parse(xml_path) root = tree.getroot() # 扩充标签 for obj in root.findall('object'): # 找到所有边界框信息 bndbox = obj.find('bndbox') xmin = int(bndbox.find('xmin').text) xmax = int(bndbox.find('xmax').text) ymin = int(bndbox.find('ymin').text) ymax = int(bndbox.find('ymax').text) # 将横坐标取反，水平翻转坐标轴 xmin_new = flipped_img.size[0] - xmax xmax_new = flipped_img.size[0] - xmin # 更新xml文件中的边界框信息 bndbox.find('xmin').text = str(xmin_new) bndbox.find('xmax').text = str(xmax_new) # 获取新的xml文件名 basename = os.path.basename(xml_path) flipped_basename = "flipped_" + basename flipped_xml_path = os.path.join(augmented_dir, flipped_basename) # 保存新的xml文件 tree.write(flipped_xml_path) # 扩充数据集 for img_name in os.listdir(os.path.join(data_dir, "JPEGImages")): if img_name.endswith(".jpg"): # 图像路径和xml文件路径 img_path = os.path.join(data_dir, "JPEGImages", img_name) xml_path = os.path.join(data_dir, "Annotations", os.path.splitext(img_name)[0] + ".xml") # 水平翻转图像并保存 flipped_img_path = horizontal_flip(img_path) # 扩充xml文件中的标签 parse_xml_and_augment_labels(xml_path, flipped_img_path) ``` 在运行完这个程序之后，你可以查看`VOCdevkit/VOC2007_augmented/`目录，里面包含了所有原始数据集中的图像和标签的水平镜像翻转版本。注意，这个示例只是一个简单的例子，你可以根据自己的需要进行修改并扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值