极智AI | 谈谈为什么卷积加速更喜欢 NHWC Layout

已于 2022-06-21 22:07:50 修改
阅读量2.6k 收藏 12
点赞数 4
分类专栏： 极智AI 文章标签： 卷积 卷积神经网络 深度学习 人工智能
于 2021-08-03 14:46:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42405819/article/details/119348563
版权
本文探讨卷积神经网络中，为何NHWC数据布局相比NCHW在加速算法如img2col+gemm和winograd中更具优势。NHWC布局优化了特征图数据的读取过程，减少了数据访问次数，从而提升卷积运算效率，尤其在高维度卷积中效果更为显著。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  本文主要讨论一下为什么卷积加速更加喜欢 NHWC 的数据排布。

  我目前接触过的数据排布类型(主要针对卷积)有 NCHW (pytorch、caffe)，NHWC (Tensorflow，也是 TVM GPU 和 寒武纪 MLU Core 上更喜欢的 data Layout)， CHW (TensorRT里不考虑动态batch的话是把 N 拿出来了，只剩三维)，NCHWC0 (华为昇腾 AI Core 的五维 Layout，C0 INT8时为32，FP16时为16)。为什么会有这么多数据类型排布呢，原因可能是源于不同的训练框架，比如 pytorch 和 tensorflow (大部分人的炼丹炉) 就不一样，而在推理时，更多的会考虑硬件 / 推理性能更喜欢什么样的数据类型排布。

  这里主要谈谈对于 img2col+gemm 和 winograd 卷积加速算法来说，为什么 NHWC 比 NCHW 更合适 (GPU上)，也是我个人的理解。

文章目录

1、img2col+gemm 和 winograd 算法原理

  img2col+gemm 的详细原理可以看我的这篇

了解本专栏 订阅专栏 解锁全文 超级会员免费看
极智AI | 一文看懂 winograd 卷积加速算法
极智视界
09-10 2585
本文详细解释了 winograd 算法加速卷积的实现原理。
极智AI | 谈谈 caffe 的 conv 算子
极智视界
10-05 1099
本文主要聊一下 caffe 框架中的 conv 算子。
卷积神经网络之快速卷积算法(img2col、Winograd、FFT)
qq_43409114的博客
04-10 2万+
前言 最近几天尝试着不用框架写一个卷积神经网络，后来代码写完之后发现运行的速度实在是太慢，分析了一下发现主要的时间都花在了卷积层上。于是查找各种资料，学习了两种现在主流的快速卷积算法，写此文主要记录一下其中的要点，在学习过程中遇到的问题。 FFT 如果学过或者了解过信号的，你肯定肯定，空间域中矩阵的卷积运算，实际上等价于频率域中两个矩阵对应元素相乘，关于怎么进行快速傅里叶变换,我之前的文章已经讲述...
昇腾AI处理机_学习笔记一：Img2col 卷积加速算法
Zhouzj23的博客
04-12 4311
Img2col 卷积加速算法 文章目录前言一、Img2col是什么？二、CNN中的卷积运算三、Img2col对卷积运算加速 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Img2col是什么？ Img2col 通过矩阵乘法实现卷积的加速运算的方法，该方法被广泛应用在CPU、GPU等通用计算芯片上。同时在一些特定域结构（Doma.
GEMM矩阵相乘与深度学习
weixin_43728590的博客
07-08 5334
GEMM矩阵相乘与深度学习1. GEMM矩阵相乘1.1 GEMM算法基础1.2 GEMM算法优化1.2.1 循环重排充分利用缓存1.2.2 平铺（Tiling）充分利用缓存1.2.3 展开（Unrolling）1.2.4 内存对齐1.2.5 向量化1.2.6 矩阵分块1.2.7 双缓冲2. GEMM与卷积计算2.1 计算卷积的方法2.2 Img2col2.2.1 CNN中张量的存储2.2.2 卷积运算转化为GEMM 1. GEMM矩阵相乘 1.1 GEMM算法基础   GEMM（General Matrix
深度学习笔记---摆数操作 NCHW和NHWC区别
hairuiJY
04-09 6296
深度学习中，经常出现摆数的要求； 经常会对数据的不同格式出现疑惑，这里记录下来； 说到的NHWC或者 NCHW其中每个代表的含义如下： N代表数量， C代表channel，H代表高度，W代表宽度。 1、NCHW其实代表的是[W H C N]， 第一个元素是000，第二个元素是沿着w方向的，即001，这样下去002 003，再接着呢就是沿着H方向，即004 005 006 007…这样到019后，...
深度学习中的Tensor 数据格式（N,C,H,W）
热门推荐
d_b_的博客
05-11 2万+
文章目录深度学习中的Tensor 数据格式（N,C,H,W）一、深度学习框架中的图像格式2、数据格式3、物理存储3.1、NCHW3.2、NHWC3.3、CHWN：StridesBlocked layout4、RGB图像数据举例5、不同框架的支持 深度学习中的Tensor 数据格式（N,C,H,W） 参考： 数据格式- 图解NCHW与NHWC数据格式 NCHW-NHWC-NC/32HW32 一、深度学习框架中的图像格式 4DTensor格式：使用4D张量描述符来定义具有4个字母的2D图像批处理的格式 数
0141-极智AI-解读为什么卷积加速更喜欢NHWC Layout
最新发布
06-25
0141_极智AI_解读为什么卷积加速更喜欢NHWC Layout
极智AI | 谈谈AI发展第一篇：AI训练框架
极智视界
06-01 472
大家好，我是极智视界，本文来谈谈 AI训练框架的发展，是谈谈AI发展系列的第一篇
NHWC与NCHW区分
是鲤鱼啊
12-13 2919
在 GPU 上训练时使用 NCHW 格式，在 CPU 上做预测时使用 NHWC 格式 https://mp.weixin.qq.com/s/I4Q1Bv7yecqYXUra49o7tw讲的简单明了，mark
【Pytorch】实现subpixle上采样及下采样
Shwan_ma的博客
12-18 2717
Pytorch 实现subpixle上采样及下采样， 类似与tensorflow的tf.depth_to_space , tf.space_to_depth def shuffle_down(inputs, scale): N, C, iH, iW = inputs.size() oH = iH // scale oW = iW // scale output =...
pytorch转onnx,连接地址
m0_37192554的博客
06-20 2170
https://github.com/apachecn/pytorch-doc-zh/blob/master/docs/1.0/super_resolution_with_caffe2.md GitHub pytorch转换onnx 使用ONNX将模型从PyTorch传输到Caffe2和Mobile(移动端) https://pytorch.org/docs/stable/onnx.htm...
从零开始手工实现卷积神经网络CNN以及img2col和col2img的实现方法
亲亲Friends的博客
03-31 8060
本文主要实现卷积神经网络（Convolutional Neural Network, CNN）中卷积操作的forward和backward函数。CNN主要包括卷积（Convolution），池化（pooling），全连接（Fully Connected）操作。相信点进来的同学对这些操作的细节已经很熟悉了，不熟悉的同学可以参考这一篇博文（本人看过讲CNN最简单易懂、最好的博文，没有之一）：An In...
caffe中卷积计算方法
u014114990的专栏
08-18 2320
http://zhangliliang.com/2015/02/11/about-caffe-code-convolutional-layer/    http://www.zhihu.com/question/28385679  参考地址 一，  先把贾扬清卷积的几张幻灯片贴上来，希望能有点用： 最后一页没画，但是基本上就是Filter Matrix乘以Feature Matr
tf.nn.conv2d()卷积函数 NHWC和NCHW格式转换
哈哈哈的博客
03-23 6244
1、首先介绍tf.nn.conv2d()函数, 其函数原型： conv2( input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None ) (1) input(输入)：类型为tf.float32或tf.float64。通常指需要做...
模型训练与测试-----pytorch和keras的软融合----GAP与全连接的作用
weixin_37721058的博客
08-02 2980
由于模型是由两个混合一起进行软结合，相对于传统上的模型混合都是保存h5，我们这里可以让两个不同的框架在一个框架下软流通。具体如何操作以及注意的点： △ 排布不同 首先是pytorch 和keras 的tensor本身的排布是不一样的，这里是需要注意的，避免在后面混合的时候出问题。 def ocr_feature(self, x): #input pytorch type: (B,...
NHWC BGR -＞ NCHW RGB
Jimko_Penng的专栏
01-07 1956
高效、简洁的Python~
tensorflow: (data_format) NHWC、NCHW 区别与转换
编程之路
10-21 4288
https://blog.csdn.net/jningwei/article/details/78156011 区别 NHWC [batch, in_height, in_width, in_channels] NCHW [batch, in_channels, in_height, in_width] NHWC –> NCHW： import tensorflow as...
将模型转为NNIE框架支持的wk模型第一步：tensorflow-＞caffe
华为云官方博客
05-26 2682
摘要：本系列文章旨在分享tensorflow->onnx->Caffe->wk模型转换流程，主要针对的是HI3516CV500， Hi3519AV100 支持NNIE推理框架的海思芯片的算法工程落地。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极智视界

你的支持 是我持续创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值