2020-10-08

关于dataset需要用到的小技巧：

1、排序sort_humanly()

     python中自带的sorted()函数，通常是直接按照名字对应的ascall码值对应的大小排序，但通常仅仅需要对文件名字中数字进行排序，因此具体实现如下：

def tryint(s):                       #//将元素中的数字转换为int后再排序
    try:
        return int(s)
    except ValueError:
        return s

def str2int(v_str):               # //将元素中的字符串和数字分割开
    return [tryint(sub_str) for sub_str in re.split('([0-9]+)', v_str)]

def sort_humanly(v_list):    #//以分割后的list为单位进行排序
    return sorted(v_list, key=str2int)

2、获得cityscape等公开数据集的list

def get_cityscape_list(path):
    switch = os.listdir(path)
    img_all_list = []
    for i in range(len(switch)):
        img_path = os.path.join(path,switch[i])
        img_switch_list = glob.glob(img_path+"/*.png")
        img_switch_list = sort_humanly(img_switch_list)
        img_all_list.append(img_switch_list)
    img_all_list = _flatten(img_all_list)  #list直接appendlist之后，得到的是一个二维list，通常需要转换成一维list
    return img_all_list

3、存储命名

获取输入图片及前面文件夹名字方式：

img_name = noisy_files[i]
img_name = img_name.replace("hazerain_level1","dehaze_rain")
name = img_name.split("\\")[-1]
name = "\\"+ name
fold_path = img_name.replace(name,"")
if not os.path.exists(fold_path):
    os.mkdir(fold_path)

如果需要重新命名，最好不要直接类似"%d"%str(i)这种，最后的命名排序就是这种1、10、11、12……19、100

正确的命名方式：name = save_dir + "/%03d".format(i)+".png",最后命名的结果就是001，002,  003……

4、对数据随机切割成对应patch大小

input_data = cv2.imread(input_image_path,-1)
label_data = cv2.imread(label_image_path,-1)   #opencv读取的图片为BGR格式

if self.patch_size !=0:
    row = np.random.randint(label_data.shape[0]-self.patch_size)
    col = np.random.randint(label_data.shape[1]-self.patch_size)

    input_data = input_data[row:row+self.patch_size, col:col+self.patch_size, :]
    label_data = label_data[row:row+self.patch_size, col:col+self.patch_size, :]
input_data = np.transpose(input_data,(2,0,1))   #将BGR图片格式转换成RGB格式
label_data = np.transpose(label_data,(2,0,1)) 

后续………………