图像采集数据集整理和扩充方案(含代码)

数据集概述

1. 对于多类别图片数据集采集，在采集完成之后，采集设备可能是不同的手机或者摄像头，因此获取的最后图片数据集尺寸大小，分辨率可能差异性很大，对之后的模型训练有很大的影响；因此我们需要将数据集中的图片，重新处理至同一分辨率和大小。
2. 如果处理完成数据集数量还不满足要求，在数量差异较小的时候可以通过图片扩增的手段增加数据集。

常用图像扩增所采用的变换

1. 一定程度内的随机旋转、平移、缩放、裁剪、填充、左右翻转；
2. 对图像中的像素添加噪声扰动。常见的有椒盐噪声、高斯白噪声；
3. 颜色变换。在图像的RGB颜色空间上添加增量；
4. 改变图片的亮度、清晰度、对比度、锐度等；
5. 除此之外，还有采样算法SMTE，生成对抗网络GAN等都可以进行图像扩充；
   ------声明：摘选自《百面机器学习》，不错的书，推荐------

代码

Python >= 3.6，Opencv2

1. 尺寸一致：
   将指定文件夹下的所有图片resize至同一尺寸，并保存在指定文件夹下

# -*-coding = utf-8 -*-
"""
流程：
1.读取指定文件夹所有文件(必须都是图片)
2.进行resize，并存储在指定文件夹下
修改值：
path_read: 需要进行修改的图片存储的文件夹
path_write: 修改后的图片存储的文件夹,必须为空，会对图片重新编号00000-09999
target_size：[x, y] 修改后文件的尺寸
"""
import os
import cv2


if __name__ == "__main__":
    path_read = "D:/pic_old/"
    path_write = "D:/pic_new/"
    target_size = [512, 512]
    image_list = [x for x in os.listdir(path_read)]
    for num, img in enumerate(image_list):
        print(num, img)
        image = cv2.imread(path_read+img, cv2.IMREAD_COLOR)
        # print(path_read+"/"+img)
        new_image = cv2.resize(image, (target_size[0], target_size[1]), interpolation=cv2.INTER_CUBIC)
        image_dir = path_write+str(num).zfill(5)+'.jpg'
        cv2.imwrite(image_dir, new_image)

2. 图片变换：
   流程：
   （1）需要修改的参数：
   path_read: 读取原始数据集图片的位置;
   path_write: 图片扩增后存放的位置；
   picture_size: 图片之后存储的尺寸;
   enhance_hum: 需要通过扩增手段增加的图片数量
   （2）扩增手段：
   Image_flip:
   #翻转图片；随机旋转翻转方向，垂直/水平/垂直+水平
   Image_traslation:
   #平移图片，随机选择平移方向，指定平移像素100(可以修改)，抽取原始图片像素点填补平移后空白区域；
   Image_rotate:
   #旋转图片，随机从rotate_angle列表中抽取旋转角度
   Image_noise:
   #添加噪声，随机选择高斯噪声或椒盐噪声；且高斯噪声的方差与椒盐噪声的比例都是随机抽取；

# -*-coding = utf-8 -*-
"""
1. Image_flip:翻转图片
2. Image_traslation:平移图片
3. Image_rotate:旋转图片
4. Image_noise:添加噪声
"""
import os
import cv2
import numpy as np
from random import choice
import random

def Image_flip(img):
    """
    :param img:原始图片矩阵
    :return: 0-垂直； 1-水平； -1-垂直&水平
    """
    if img is None:
        return
    paras = [0, 1, -1]
    img_new = cv2.flip(img, choice(paras))
    return img_new

def Image_traslation(img):
    """
    :param img: 原始图片矩阵
    :return: [1, 0, 100]-宽右移100像素； [0, 1, 100]-高下移100像素
    """
    paras_wide = [[1, 0, 100], [1, 0, -100]]
    paras_height = [[0, 1, 100], [0, 1, -100]]
    rows, cols = img.shape[:2]
    img_shift = np.float32