数据排布与跨距对齐

文章讲述了深度学习中数据排布的两种主要形式NHWC和NCHW,以及它们在内存中的存储差异。同时,介绍了跨距对齐的概念,特别是在地平线征程、旭日系列芯片的BPU中的特殊规则,以及如何在处理图像数据时考虑对齐和去除对齐的操作。不同的深度学习框架如PyTorch、TensorFlow对数据排布的支持情况也有所提及。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 数据排布

1.1 数据排布的概念

在深度学习框架中,特征图通常以四维数组的形式呈现,这四个维度分别是:批量大小N,特征图通道数C,特征图高度H,特征图宽度W。数据排布(Layout)指的就是这四个维度的排列方式,通常有NHWC和NCHW两种。虽然在人的视角下,NHWC和NCHW都是四维数据,但对于计算机而言,数据的存储是线性的,因此四维的数据会以一维的形式保存, NHWC和NCHW的区别就在于四维数据在内存上的存储规则不同。需要注意的是,NHWC与NCHW的概念不适用于NV12(YUV420)数据类型 ,因为4个Y分量对应1组UV分量,因此没有通道的概念。

1.2 NHWC

在这里插入图片描述
对于一张2x2大小的RGB图像,若数据排布为NHWC,则在内存中会依次按照C、W、H、N的顺序储存,不同通道同一位置的像素会储存在一起,如下图所示:
在这里插入图片描述

1.3 NCHW

若2X2大小RGB图像的数据排布为NCHW,则在内存中会依次按照W、H、C、N的顺序储存,即先储存所有R,再储存所有G,最后储存所有B,如下图所示:

在这里插入图片描述

1.4 支持情况

PyTorch、Caffe和PaddlePaddle深度学习框架使用NCHW格式。TensorFlow默认使用NHWC,但GPU版本可以支持NCHW。对于地平线芯片算法工具链来说,NCHW与NHWC两种数据排布训练出来的模型,都可以正常转换、编译。

2 跨距对齐

2.1 跨距的概念

跨距(Stride)是指图像储存在内存中时,每一行所占空间的实际大小。计算机的处理器大都为32位或64位,因此处理器一次读取到的完整数据量最好为4字节或8字节的倍数,若为其他数值,则计算机需要进行专门处理,导致降低运行效率。为了能让计算机高效处理图像,通常会在原本数据的基础上,填充一些额外的数据以做到4字节或8字节对齐。对齐的操作又叫Padding,实际的对齐规则会取决于具体的软硬件系统。

在这里插入图片描述
假设我们有一张8位深的灰度图,高(Height)为20像素,宽(Width)为30像素,那么该图像每行的有效数据为30字节,如果计算机的对齐规则是8字节,那么对齐后图像的跨距为32字节,此时每行需要Padding的数据量为2字节

2.2 BPU的跨距对齐

上述内容只是对跨距规则的通用介绍,对于地平线征程、旭日系列芯片的BPU而言,有专门的跨距对齐规则。比如对于NV12输入,在满足H和W为偶数的前提下,要对Width按照16字节的倍数做对齐(可参考模型输入输出对齐规则解析 https://developer.horizon.ai/forumDetail/118364000835765837 )。对于不同的数据排布和数据类型,BPU的跨距对齐有着不同的规则。图像数据的对齐在板端会由模型推理预测库自动完成(使用代码 input[i].properties.alignedShape = input[i].properties.validShape;),只需要在编写部署代码时,按照对齐后的字节大小分配BPU内存即可(featuremap数据的对齐依然需要用户编写代码完成,可参考OE包的horizon_runtime_sample/code/03_misc/resnet_featur)。对齐后的字节大小,通过读取模型参数可以直接获取,因此使用起来非常方便。

typedef struct {
  hbDNNTensorShape validShape;    // 数据的有效尺寸
  hbDNNTensorShape alignedShape;  // 数据的对齐尺寸
  int32_t tensorLayout;
  int32_t tensorType;
  hbDNNQuantiShift shift;
  hbDNNQuantiScale scale; 
  hbDNNQuantiType quantiType;
  int32_t quantizeAxis;
  int32_t alignedByteSize;        // 数据对齐后所占的字节大小
  int32_t stride[HB_DNN_TENSOR_MAX_DIMENSIONS];
} hbDNNTensorProperties;

工具链的C++SDK提供的结构体hbDNNTensorProperties包含有模型输入/输出张量的详细信息,validShape为数据的有效尺寸,alignedShape为对齐尺寸,alignedByteSize为对齐后所占的字节大小。这些数据使用得当可以让代码的编写更加高效,关于这部分内容的详细信息可以查看工具链手册的BPU SDK API章节。

2.3 去除对齐

对齐是为了照顾软硬件系统的图像读取性能,在完成计算任务后,需要去除对齐,只保留有效数据。若模型以BPU节点结尾,则会输出alignedShape的数据,需要用户编写代码将padding数据跳过(可使用hrt_model_exec model_info查看模型输入输出的alignedShapevalidShape)。若模型尾部有CPU节点,则BPU与CPU在数据传输时会自动去除对齐,不需要用户手动操作。
在这里插入图片描述
尾部为BPU节点的模型,需要用户手动去除对齐数据

在这里插入图片描述
尾部为CPU节点的模型,去除对齐的操作会自动进行,无需用户手动干预。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值