keras 读取多标签图像数据

我所接触的多标签数据，主要包括两类：

1. 一张图片属于多个标签，比如，data:一件蓝色的上衣图片.jpg，label:蓝色，上衣。其中label包括两类标签，label1第一类：上衣，裤子，外套。label2第二类，蓝色，黑色，红色。这样两个输出label1，label2都是是分类，我们可以直接把label1和label2整合为一个label，直接编码，比如[蓝色，上衣]编码为[011011]。这样模型的输出也只需要一个输出。实现了多分类。
2. 一张图片属于多个标签，但是几个标签不全是分类。比如data：一张结婚现场的图片.jpg,label:高兴，3（表示高兴程度）。这时label1是分类，label2时回归。这种情况就需要多个标签，模型需要多个输出。【其实最好的例子，就是目标检测，不但检测什么物体（分类），还要检测到物体的坐标（回归）】

在这里我主要针对第二种情况加以说明：
keras的ImageDataGenerator.flow_from_directory 只能简单的读取单标签数据。所以我自己写了个data_generate，来生成bathsize多标签数据

#此模块主要用来读取数据集，返回一个数据可迭代对象
#重点是，此模块分批次的把图像读入内存的，而不是一次全读入，有效的减少了内存溢出
import os
import cv2
import numpy as np
import keras
from random import shuffle

#目标图像大小
image_size= (229, 229, 3)
#类别编码
class_dict=dict(zip(['neg','pos','neu'],[0,1,2]))
#处理.txt文件,并加载图片文件夹里的图片名
#txt_path，txt文件路径，data_path，图片文件夹路径


def read_txt(txt_path,data_path):
    # 中间数组
    labels_class = []
    labels_score = []
    with open(txt_path) as f:
        lines_list = f.readlines()
        for lines in lines_list:
            line = lines.split(' ')
            labels_class.append(line[0].rstrip(".jpg"))
            labels_score.append(line[2])
    labels_dict=dict(zip(labels_class,labels_score))
    #处理图片数据集
    all_picture_name = os.listdir(data_path)
    #打乱数据集
    shuffle(all_picture_name)
    all_picture_path=[os.path.join(data_path,one)for one in all_picture_name]
    return all_picture_name,all_picture_path,labels_dict


class data_generate:
    def __init__(self,all_piture_name,all_picture_path,labels_dict,batch_size):
        self.index=0
        self.all_picture_name=all_piture_name
        self.all_picture_path=all_picture_path
        self.labels_dict=labels_dict
        self.batch_size = batch_size
    def get_mini_batch(self):
         while True:
            batch_images=[]
            batch_labels=[]
            batch_class=[]
            batch_score=[]
            for i in range(self.batch_size):
                if(self.index==len(self.all_picture_name)):
                    self.index=0

                bgr_image = cv2.imread(self.all_picture_path[self.index])
                if len(bgr_image.shape) == 2:  # 若是灰度图则转为三通道
                    bgr_image = cv2.cvtColor(bgr_image, cv2.COLOR_GRAY2BGR)
                rgb_image = cv2.cvtColor(bgr_image, cv2.COLOR_BGR2RGB)
                rgb_image=cv2.resize(rgb_image,(image_size[0], image_size[1]))
                img = np.array(rgb_image)
                img=keras.applications.inception_v3.preprocess_input(img)
                batch_images.append(img)
                #label=[]
                label1=self.all_picture_name[self.index].rstrip(".jpg")
                batch_class.append(keras.utils.to_categorical(class_dict[label1[:3]], 3))
                batch_score.append(np.array(self.labels_dict[label1]))
                #batch_labels.append(label)
                self.index+=1
            batch_images=np.array(batch_images)
            batch_class = np.array(batch_class)
            batch_score = np.array(batch_score)
            #注意label的生成batch_class，一个单独数组，batch_score一个单独的数组
            '''
            注释掉的这段代码生成的label是错误的。
            batch_images=[]
            batch_labels=[]
            for i in range(self.batch_size):
                if(self.index==len(self.images)):
                    self.index=0
                batch_images.append(self.images[self.index])
                batch_labels.append(self.labels[self.index])
                self.index+=1
            batch_images=np.array(batch_images)
            batch_labels=np.array(batch_labels)
            yield batch_images,batch_labels
            '''
            yield batch_images,[batch_class,batch_score]

接下来就是放入keras.fit_generate中了

history=model.fit_generator(generator=train_data.get_mini_batch(),
                    steps_per_epoch=146,
                    epochs=300,
                    validation_data=test_data.get_mini_batch(),
                    validation_steps=34,
                    )