modelbox入门教程(三) modelbox讲解 expand与Collapse单元

duoyasong5907

已于 2024-03-06 15:46:06 修改

阅读量907

点赞数 22

文章标签： python 开发语言

于 2023-12-15 11:35:02 首次发布

本文链接：https://blog.csdn.net/duoyasong5907/article/details/135013431

版权

简介

本文介绍如何活用expand与Collapse单元来调整数据流，批量处理细分数据单元。expand相当于平铺操作，Collapse相当于合并操作。
本文参考：

背景介绍

利用normal单元，modelbox可以对数据单位作批量处理。
利用expand与Collapse单元，modelbox可以对数据的细分单位作批量处理。
什么意思呢？
举个例子，假如

输入是一批图片，设一张图片为I，则一批图片为 $[I, I, I, ...]$
设模型为 $M_1$ (比如resnet)，可以并行处理一批图片，得到推理结果 $[Y, Y, ...]$ 。

那么，你可以部署一个推理单元，或者调用了M的功能单元 $U_M$ ，然后令其处理数据流，如公式所示 $I, I, I)->U_M->(Y, Y, Y)$ 。

在上面的例子中，数据单位是一张图片。假如数字单位是一批不定长的图片呢？

我们假设这样的情景：

我们希望识别并标注每张图片中所有人脸的情绪，这个过程需要并行按批次处理。为此，我们要将每张图片中的若干个人脸区域都识别出来，裁剪缩放成一个个图片，再输入给人脸情绪识别模型，那么每个数据单位都包含若干个缩放后的图片人脸区域。模型会预测每一个人脸区域的表情情绪，处理流程会之后在图片的人脸区域上标记人脸情绪。

此时，设人脸情绪识别模型为 $M_2$ ，输入就会类似于 $([I, I], [I, I, I, I], [I, I, I])$ ，3个数据单元分别是2、4、3张图片。我们的模型是 $M_2$ ，只能处理一批图片。

这样，直接输入给模型 $M_2$ 就不合适了，因为 $M_2$ 无法处理图片组的批次，只能处理图片的批次。因此可以利用expand把那些人脸区域单位平铺，输入给M处理，再利用Collapse单元将展开的单元合并回原本形态的数据流。

介绍Expand和Collapse单元

数据流

Normal单元只会按批次处理Buffer：

输入是两个数据流，蓝色和绿色是两条数据流。第一条数据流包含3个Buffer，第二条数据流包含4个Buffer。
经过Normal单元时，根据设置的batch_size=2，数据被两两一组处理，其中(B1,B2)是第一批处理的，(B3,B4)是第二批处理的。
批次处理后，输出的数据流形态不变，数据会存储在Buffer中。

Expand单元可以展开数据流，将数据流中的每个Buffer各自展开成一条数据流，展开时数据流的从属关系会被标记：

输入是一个数据流，有3个Buffer。
数据经过Expand单元，3个Buffer依次处理，每个Buffer都会展开成一个数据流。
展开后，三个Buffer分别被展开成了有4/3/5个Buffer的数据流，共计3条数据流。三条数据流与原本三个Buffer的从属关系会被标记，这样当后面经过Collapse操作时，能够被重新合并。

合并回一条数据流

结合以上图片思考，对于文章开头的例子，我们可以组成 Expand->Normal->Collapse的流程图，并在Normal单元调用人脸识别模型，这样每张图片会被平铺为若干个人脸区域，而经过模型处理后的情绪识别结果会被合并到每张图片中，这样就能满足需求了。

代码参考

参考modelbox项目源码下的路径modelbox\src\demo\emotion_detection\flowunit\expand_box

如下：

输入in_data_list是一个BufferList，每个Buffer代表一张图片。
每个Buffer内含有多个bbox，经过该expand单元后，每个Buffer被展开为若干个bbox，输入到后面的单元。
等后面的单元批处理完成后，经过Collapse单元，bbox的数据会重新被整理回图片流。

import _flowunit as modelbox
import numpy as np

class ExpandBox(modelbox.FlowUnit):
    def __init__(self):
        super().__init__()

    def open(self, config):
        return modelbox.Status.StatusCode.STATUS_SUCCESS

    def process(self, data_context):
        in_data_list = data_context.input("in_data")
        out_image_list = data_context.output("roi_image")

        for in_buffer in in_data_list:
            width = in_buffer.get("width")
            height = in_buffer.get("height")
            channel = in_buffer.get("channel")

            img = np.array(in_buffer.as_object(), dtype=np.uint8)
            img = img.reshape(height, width, channel)

            bboxes = in_buffer.get("bboxes")
            bboxes = np.array(bboxes).reshape(-1, 4)
            for box in bboxes:
                img_roi = img[box[1]:box[3], box[0]:box[2]]
                img_roi = img_roi[:, :, ::-1]

                img_roi = img_roi.flatten()
                add_buffer = modelbox.Buffer(self.get_bind_device(), img_roi)
                add_buffer.copy_meta(in_buffer)
                add_buffer.set("pix_fmt", "rgb")
                add_buffer.set("width", int(box[2] - box[0]))
                add_buffer.set("height", int(box[3] - box[1]))
                add_buffer.set("width_stride", int(box[2] - box[0]))
                add_buffer.set("height_stride", int(box[3] - box[1]))
                out_image_list.push_back(add_buffer)
        return modelbox.Status.StatusCode.STATUS_SUCCESS

    def close(self):
        return modelbox.Status()
    
    def data_pre(self, data_context):
        return modelbox.Status()

    def data_post(self, data_context):
        return modelbox.Status()