Mask R-CNN读取数据缓慢的问题解决方法（针对单张图片目标很多的数据集）

 在 Mask R-CNN 的 Dataset 类有一个函数 draw_mask()，利用三个 for 循环重写mask，造成训练及数据加载的瓶颈，在此对draw_mask函数修改。

我的数据集是用labelme标注的，使用labelme的json_to_dataset.py文件转换获得原始图片、yaml、mask图(8位)，此处可能不适用于coco格式的数据集。

我该下面源码的原因有两个：

1、如果要使用数据集增强办法扩张数据集，得到的mask图很可能变成24位的mask图，不能使用原Mask RCNN的代码读取数据

8位图是255种调色板中差异最大的颜色，虽然像素值也看可以表示为(R,G,B)，但当24位图转换为8位图时会将相似的颜色转换为同一种映射存储，用原Mask RCNN的代码读取8位图的数据只需要查看每个颜色的映射值(RGB共同映射为一个值)的大小即可，但该代码不能处理24位图，因此加载24位图时get_obj_index()函数就会错误，默认最大的映射值是物体数量，但24位图中不是如此。

因此要处理24位的mask图需要另外的遍历方法，此处获得物体数量的方法就用标签数量代替，所以数据集中不要有空标签。

2、原Mask RCNN的代码读取数据使用了三个for循环，读取数据缓慢

下面代码的思路是构建哈希表存储每种第一次遇到的颜色，遍历mask图的每一个像素点，每个像素点通过一个简单的映射关系获得一个哈希值表示这种颜色，如下：

at_pixel = image[row, col, 0] * 0.1 + image[row, col, 1] + image[row, col, 2] * 10

因为mask已经在load_mask()函数中初始化完了，变成一个(w,h,num_ojb)的0矩阵，所以绘制mask 时只需要将每一个遍历到像素点在mask矩阵中相应的位置绘制出来，即如下：

mask[row, col, hashMap.get(at_pixel)] = 1

完整代码如下:

    # 8位深图兼24位深图处理方式
    def draw_mask(self, num_obj, mask, image, image_id):
        image = cv2.cvtColor(np.asarray(image), cv2.COLOR_BGR2RGB)
        hight = image.shape[0]
        width = image.shape[1]
        hashMap = {0: -1}  # 预先将背景像素0映射为-1
        k=0
        for row in range(hight):
            for col in range(width):
                if image[row, col,0]==0 and image[row, col, 1] ==0 and image[row, col, 2]==0:
                    continue
                at_pixel = image[row, col, 0] * 0.1 + image[row, col, 1] + image[row, col, 2] * 10
                if not hashMap.__contains__(at_pixel): # 若该像素值未存在哈希表则加入哈希表
                    hashMap[at_pixel]=k
                    k+=1
                mask[row, col, hashMap.get(at_pixel)] = 1  # 将at_pixel对应的层（哈希值），对应位置赋值1
        return mask


 #重写load_mask
    def load_mask(self, image_id):
        info = self.image_info[image_id]
        img = Image.open(info['mask_path'])
        # num_obj = self.get_obj_index(img) # 以最大像素值作为物体数量，0表示背景
        labels=[]
        labels=self.from_yaml_get_class(image_id)
        labels_form=[]
        for i in range(len(labels)):
            if labels[i].find("particle")!=-1:
                labels_form.append("particle")
        class_ids = np.array([self.class_names.index(s) for s in labels_form])

        # num_obj表示该图实例数（P模式像素值范围0~num_obj，含背景则有num_obj+1层，不含背景则是num_obj层）
        # class_ids表示该图标签数（真实实例数，而不含背景）
        num_obj = len(class_ids) # num_obj表示有效标签数量 = len(class_ids)表示有效标签
        mask = np.zeros([np.shape(img)[0], np.shape(img)[1], num_obj], dtype=np.uint8)
        mask = self.draw_mask(num_obj, mask, img, image_id)

        return mask, class_ids.astype(np.int32)

本代码对于实例越多的mask，加速读取数据的效果越明显，但是我训练时的速度还是很慢，猜测原因是CUP在调整框的位置时计算量太大，又不能用GPU计算而导致的，如果有知道其他训练太慢的原因和解决方法，请大佬告知！