极智AI | 谈谈为什么卷积加速更喜欢 NHWC Layout

已于 2022-06-21 22:07:50 修改
阅读量2.4k 收藏 12
点赞数 4
分类专栏： 极智AI 文章标签： 卷积 卷积神经网络 深度学习 人工智能
于 2021-08-03 14:46:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42405819/article/details/119348563
版权
本文探讨卷积神经网络中，为何NHWC数据布局相比NCHW在加速算法如img2col+gemm和winograd中更具优势。NHWC布局优化了特征图数据的读取过程，减少了数据访问次数，从而提升卷积运算效率，尤其在高维度卷积中效果更为显著。
摘要由CSDN通过智能技术生成

  本文主要讨论一下为什么卷积加速更加喜欢 NHWC 的数据排布。

  我目前接触过的数据排布类型(主要针对卷积)有 NCHW (pytorch、caffe)，NHWC (Tensorflow，也是 TVM GPU 和 寒武纪 MLU Core 上更喜欢的 data Layout)， CHW (TensorRT里不考虑动态batch的话是把 N 拿出来了，只剩三维)，NCHWC0 (华为昇腾 AI Core 的五维 Layout，C0 INT8时为32，FP16时为16)。为什么会有这么多数据类型排布呢，原因可能是源于不同的训练框架，比如 pytorch 和 tensorflow (大部分人的炼丹炉) 就不一样，而在推理时，更多的会考虑硬件 / 推理性能更喜欢什么样的数据类型排布。

  这里主要谈谈对于 img2col+gemm 和 winograd 卷积加速算法来说，为什么 NHWC 比 NCHW 更合适 (GPU上)，也是我个人的理解。

文章目录

1、img2col+gemm 和 winograd 算法原理

  img2col+gemm 的详细原理可以看我的这篇《【模型推理】一文看懂Img2Col卷积加速算法》，就是先把 feature map 按卷积核走过的 “踪迹” 展开、拼接 与 拉扁拉长的卷积核 进行 gemm<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
极智视界
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
深度学习笔记---摆数操作 NCHW和NHWC区别
hairuiJY
04-09 6075
深度学习中，经常出现摆数的要求； 经常会对数据的不同格式出现疑惑，这里记录下来； 说到的NHWC或者 NCHW其中每个代表的含义如下： N代表数量， C代表channel，H代表高度，W代表宽度。 1、NCHW其实代表的是[W H C N]， 第一个元素是000，第二个元素是沿着w方向的，即001，这样下去002 003，再接着呢就是沿着H方向，即004 005 006 007…这样到019后，...
简单的 PyTorch CNN 二分类器示例
a119334的博客
07-24 4467
学完了CNN的基本构件，看完了，让我们再用PyTorch来搭建一个CNN，并用这个网络完成之前那个简单的猫狗分类任务。这份PyTorch实现会尽量和TensorFlow实现等价。同时，我也会分享编写此项目过程中发现的PyTorch与TensorFlow的区别。项目网址https。......
深度学习—2.常见的神经网络结构
wp215501547的博客
05-20 1894
一、卷积神经网络结构 常见的卷积神经网络结构： 服务器上：LeNet、AlexNet、VGG、InceptionV1-V4、Inception-ResNet、ResNet 手机上：SqueezNet、NASNet 二、卷积参数与计算量计算 与区分 卷积层参数量 parameter=（KwkhCin+1）*Cout Kw卷积核的宽 kh卷积核的高 Cin上一层通道数 Cout下一层通道数 +1为偏执量 全连接层的参数量 parameter=（Nin+1）*Nout Nout输入的特征向量权重。， Nin输出的
深度学习（4）：NCHW和NHWC
最新发布
生活需要深度
07-03 805
NHWC的话以此类推，代表的是[C W H N]，第一个元素是000，第二个沿C方向，即020，040, 060..一直到300，之后沿W方向，001 021 041 061...301..到了303后，沿H方向，即004 024 .。在不同的硬件加速的情况下，选用的类型不同，在intel GPU加速的情况下，因为GPU对于图像的处理比较多，希望在访问同一个channel的像素是连续的，一般存储选用NCHW，这样在做CNN的时候，在访问内存的时候就是连续的了，比较方便。# 转换 NCHW---NHWC。
Pytorch基础操作 —— 1.什么是Tensor，以及Tensor的基本属性、数据通道、维度
老程的技术笔记
08-10 1717
我们在前面的章节里，简要的给大家介绍了导数与神经元的关系，个人觉得从基础概念来说，已经没什么好细讲的。 所以，从这个部分开始以Pytorch出发，做一些API级的东西。那么准备写点什么内容呢，我想了想就介绍一些比如用torch构建三大主流网络（全连接网络、卷积神经网络、循环神经网络）外，顺便做一些简单的应用示例，而且我想如果下次再更新新的内容的话，应该是机器学习方向的，至于说会不会用tensorflow来再做一个介绍，我想应该不会，一是我没用过ts，二是我觉得这些玩意大同小异，应该看懂API后都能很容易上.
NHWC和NCHW数据排布及转换(模型部署)
@bangbang的博客
05-11 2660
其中C表示的通道数可能有多种情况，例如，RGB图片格式的通道为3通道，R（红色）、G（绿色）、B（蓝色）各占一个通道，表示图片中每个像素点都有三个通道值，每个通道值范围是[0~255]，三个通道的叠加呈现出一个像素的颜色。RGB图像还有四通道的表示，除了RGB三通道之外，还有一个alpha通道，表示透明度。在intel GPU加速的情况下，希望在访问同一个channel的像素是连续的，一般存储选用NCHW也就是输入数据格式为NCHW，这样在做CNN的时候，在访问内存的时候就是连续的了，比较方便。
深度学习中图像在不同深度学习框架中的存储方式
Childhood_Sweetheart的博客
08-21 479
转载自：原文链接 在Caffe 中是NCHW； 住在Tensorflow中是NHWC； 在Pytorch中是NCHW； NCHW 中，C 排列在外层，每个通道内像素紧挨在一起，即 ‘RRRRRRGGGGGGBBBBBB’ 这种形式。 NHWC 中，C 排列在内层，多个通道对应空间位置的像素紧挨在一起，即 ‘RGBRGBRGBRGBRGBRGB’ 这种形式。 下面用给出一幅图便于理解 NHWC 的存储方式访存局部性更好（每三个输入像素即可得到一个输出像素），而NCHW 则必须等所有通道输入准备好才能得
卷积加速-基于TVM实现的用于CUDA+AMDGPU的winograd卷积加速-附项目源码+加速对比测试-优质HPC项目实现
06-07
卷积神经网络（CNN）是深度学习领域的重要组成部分，广泛应用于图像识别、自然...通过研究项目源码和测试结果，可以学习到如何将理论知识转化为实际的性能提升，为构建更高效、更快速的高性能计算（HPC）系统提供参考。
极智量化（Python语言）帮助文档.pdf
03-19
### 极智量化（Python语言）关键知识点解析 #### 一、极智量化概述 **极智量化**是一款基于Python语言开发的专业量化交易平台，适用于Windows操作系统。它为投资者提供了全面的量化交易解决方案，涵盖从历史数据到...
算法部署-为NCNN添加CUDA后端支持以实现GPU加速-优质算法部署项目实战.zip
03-12
在本项目中，我们将深入探讨如何为NCNN（NVIDIA's Convolutional Neural Network）框架添加CUDA后端支持，以实现GPU...同时，这也将帮助你更好地理解GPU加速在深度学习中的作用，为未来的高性能计算项目打下坚实基础。
matlab-二维卷积神经网络的matlab实现.zip
02-01
二维卷积神经网络（2D Convolutional Neural Networks, 2D CNNs）是一种在图像处理和计算机视觉领域广泛使用的深度学习模型。MATLAB作为一款强大的数学计算软件，提供了丰富的工具箱来支持深度学习，包括对2D CNN的...
极智g1880游戏鼠标驱动 v1.0 官方版
07-04
极智g1880驱动是极智G1880炫彩色游戏鼠标的官方驱动程序，用户可以通过它来设置了解鼠标滚轮、dpi等其他快捷组合按键，方便快捷，拥有这款鼠标的朋友快来下载吧！驱动介绍：极智g1880驱动是专用于极智G1880炫彩色...
【Pytorch API笔记4】用transpose()和permute()和view()来设置维度
hjxu2016的博客
10-11 1340
转换维度是常见的操作之一， 比如NHWC转换成NCHW 在numpy里可以用 np.tranpose操作，但在torch里却有一丝区别
如何理解Winograd卷积
weixin_39326879的博客
05-19 987
im2col 首先,我们来看一种快速的卷积方法:im2col 顾名思义,就是把image转换成col,方便矩阵相乘; 如上图所示,把待卷积的卷积核展开成行向量,把待卷积的图像块展开成列向量,二者相乘即可得到卷积后的结果. 例如，如果大小为[227x227x3]步幅4和填充0的输入与11x11x3滤波器进行卷积，那么我们将在输入中采样[11x11x3]像素块并将每个像素块拉伸为大小 11 * 11 * 3 = 363的列向量。 对于具有步幅4和填充0的大小为227的输入，沿宽度和高度会有（（227-11）/
卷积神经网络之快速卷积算法(img2col、Winograd、FFT)
热门推荐
qq_43409114的博客
04-10 2万+
前言 最近几天尝试着不用框架写一个卷积神经网络，后来代码写完之后发现运行的速度实在是太慢，分析了一下发现主要的时间都花在了卷积层上。于是查找各种资料，学习了两种现在主流的快速卷积算法，写此文主要记录一下其中的要点，在学习过程中遇到的问题。 FFT 如果学过或者了解过信号的，你肯定肯定，空间域中矩阵的卷积运算，实际上等价于频率域中两个矩阵对应元素相乘，关于怎么进行快速傅里叶变换,我之前的文章已经讲述...
昇腾AI处理机_学习笔记一：Img2col 卷积加速算法
Zhouzj23的博客
04-12 3843
Img2col 卷积加速算法 文章目录前言一、Img2col是什么？二、CNN中的卷积运算三、Img2col对卷积运算加速 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Img2col是什么？ Img2col 通过矩阵乘法实现卷积的加速运算的方法，该方法被广泛应用在CPU、GPU等通用计算芯片上。同时在一些特定域结构（Doma.
论文阅读MEC
zyd2016的博客
02-07 334
阅读论文：MEC：https://arxiv.org/abs/1706.06873v1 Memory-efficient Convolution for Deep Neural Network原文的链接！ 主要优化：结合之前的img2col和GEMM的优化的基础上，前两者的实现在某些基础上可以得到一定的优化，文章的主要优化方向是优化img2col和GEMM的计算策略中的内存消耗、而且还可以提升一点点的计算速度。 背景介绍：当前的CNN模型是现今比较流程的深度学习模型，一般实现的CNN模型中都包含着很多的卷积
深度学习基础--卷积--加速的卷积运算
wydbyxr的博客
11-14 8460
加速的卷积运算   convolution在GPU上如何实现，文中介绍了三种方法 1）最直观的方法是直接实现（即一般的卷积运算）   缺点：这种实现呢需要处理许多的corner case。   文中介绍cuda-convnet2是实现了该种方法，该种方法在不同取值的卷积参数空间效率不一，比如batch size &gt; 128，效率很高，但是如果batch size &lt; 64, 效率比较低...
深度学习内存排布方式
qq_35985044的博客
12-18 619
​ 在深度学习中有两种内存排布方式，NCHW 和 NHWC。早期的caffe，tensorflow是以NHWC为主，因为他们开始主要支持的基于CPU的运算。后面的torch的内存模型以NCHW为主，因为在GPU上运算，NCHW更快
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极智视界

你的支持 是我持续创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值