文献阅读（301）稀疏矩阵乘

最新推荐文章于 2024-05-14 16:05:20 发布
最新推荐文章于 2024-05-14 16:05:20 发布
阅读量1k 收藏 7
点赞数 2
分类专栏： CGRA 文章标签： 硬件架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiaozhanzhe1900/article/details/120246999
版权

文章目录

  • 题目：Sparse Tensor Core: Algorithm and Hardware Co-Design for Vector-wise Sparse Neural Networks on Modern GPUs
  • 时间：2019
  • 会议：MICRO
  • 研究机构：阿里巴巴/UCSB

VectorSparse 方法

在神经网络中，稀疏剪枝很常见，但是GPU的Tensor Core主要是面向密集矩阵乘优化的，对于稀疏矩阵的优化还不够
本篇论文的主要贡献：

  1. 证明GPU在运行稀疏神经网络时的低效率
  2. 在神经网络训练中，利用向量解析进行稀疏化训练，提高神经网络的稀疏性
  3. 与算法优化相对应，扩展了Volta GPU的指令集，微架构设计优化以提升稀疏矩阵性能

为什么稀疏矩阵在GPU上性能不足够好呢

  • 负载不均匀
  • 非零元素的数量未知，难以选择最佳的切片方案
  • 高度稀疏矩阵的计算量不足以隐藏长的存储器访问延迟

如何解决负载不均匀的问题呢？
将权重矩阵拆分成不同的向量，并在剪枝的时候强行要求每个向量的稀疏度相同
在这里插入图片描述
在矩阵运算过程中，我们假设是稀疏矩阵乘密集矩阵，对于C的每一行，都是稀疏向量乘以密集矩阵的结果，而对于一个稀疏向量，只有个别元素是非零的，只需要和密集矩阵的对应行相乘即可。
对于下图，A矩阵的第一行只有A11和A16是非零的，那么只需要A11乘以B的第1行加上A16乘以B的第6行就是C的第一行结果
在这里插入图片描述

  • 题目：OuterSPACE: An Outer Product Based Sparse Matrix Multiplication Accelerator
  • 时间：2018
  • 会议：HPCA
  • 研究机构：密歇根大学

Outer Product方法

传统的矩阵乘都是乘累加，本质上是输出不变，输出复用度较高；这里换一种方式，先计算得到多个部分和矩阵，再将部分和矩阵对应相乘即可，这样做的好处是输入矩阵A的复用度较高
在这里插入图片描述

  • 题目：MatRaptor: A Sparse-Sparse Matrix Multiplication Accelerator Based on Row-Wise Product
  • 时间：2020
  • 会议：MICRO
  • 研究机构：康奈尔大学

row-wise product方法

本篇论文的主要贡献：

  1. 系统的分析了稀疏矩阵乘的各种数据流，提出了row-wise product方法
  2. 提出了C2SR的数据存储格式
  3. 基于上述的数据流与数据存储格式，设计了稀疏卷积加速单元，相比于OuterSPACE提升明显

所有的稀疏矩阵乘可以分成四种不同的数据流：

  • 内积：一行乘以一列乘累加，输出不变
  • 外积：一列乘以一行，得到多个部分和矩阵
  • row-wise product：一行乘以一行，类似VectorSparse，累加后可以得到一行的计算结果
  • column-wise product：一列乘以一列，累加后可以得到一列的计算结果

在这里插入图片描述

tiaozhanzhe1900
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于GPU的稀疏矩阵向量乘优化.pdf
09-25
基于GPU的稀疏矩阵向量乘优化.pdf
论文研究-基于FPGA的稀疏矩阵向量乘的设计研究.pdf
07-22
作为典型的不规则算法，稀疏矩阵向量乘的计算过程具有非常低的访存局部性和计算访存比，因此在基于cache的通用处理器上计算效率很低。提出了一种面向可重构计算平台的基于IEEE-754浮点数据格式标准的稀疏矩阵向量乘算法加速器的设计。在一维划分的行压缩稀疏矩阵数据存储技术以及计算部件的流水化设计的基础上，提出了一种基于单个浮点加法器的无阻塞累加器设计。通过实验验证表明，简化了算法的设计提高了算法执行的并行度和外部存储器的带宽利用率，获得了相对于传统处理器1.37-2.60倍的性能加速比。
GPU稀疏矩阵向量乘的性能模型构造.pdf
09-25
GPU稀疏矩阵向量乘的性能模型构造.pdf
稀疏矩阵LU分解的FPGA实现.pdf
07-13
稀疏矩阵LU分解的FPGA实现.pdf
稀疏非负矩阵分解及模式识别
09-03
经典文献“Non-negative Matrix Factorization with Sparseness Constraints”的实现代码（MATLAB)
各种卷积操作及其矩阵运算
Nick Blog
08-12 5733
前言 简单来讲，卷积是一种函数和函数产生一个新函数的数学运算，该数学运算的自变量是两个函数f, g（连续或离散都可以,，定义域之外的部分记函数值填充为0），输出为一个函数h,满足 ,或者说，就是对每个自变量t, 的h(t)值，都是g与对应​f的函数值的加权和。 1. 一维离散卷积数学表达 2. 二维离散卷积定义 3. 图像卷积 卷积核套合在图像上，对应位置相乘求和赋值给中心像素，滑动卷积核（从左到右，从上到下），依次得到新的特征图上的值。 上图展示的是 stride=1 的情形，既每次移动一个像
矩阵的卷积
poinsettia的专栏
12-04 1798
转正地址：http://blog.csdn.net/frankyzhangc/article/details/6990782  自己也做了一定的添加和修改 想要深刻理解矩阵的卷积，那么首先要知道什么是离散序列的卷积。 已知离散序列x(n)和h(n)，则x(n)和h(n)的卷积定义为： 其计算过程是对h（n）翻转，平移，相乘，求和。也可以用不进位乘法计算，并且Lengt
数据结构 稀疏矩阵乘法
欢乐佛的博客
03-18 6946
【数据结构】稀疏矩阵乘法 1.传统矩阵相乘的算法使用三个嵌套循环实现，算法复杂度为O（m * n1 * n2） 2.使用三元组顺序表存储稀疏矩阵时，实现 Q= M * N，对于M中M（i，j）元素来说，只需要与N中第j行元素N（j,q）相乘，再存入Q（i，q）中。为了实现这一操作，增加一个向量rpos，表示每一行的第一个非零元在三元组中的位置，rpos作用相当于快速转置中的cpot向量。 这种结构...
ISCA2022部分论文阅读整理
讲述一个小战士逐步打败恶龙的故事
07-18 1471
ISCA2022部分论文阅读整理
Matrix-Multiplication-Article:我博客上关于矩阵乘法优化的文章的源代码
06-29
矩阵乘法文章 我博客上关于矩阵乘法优化的文章的源代码 文章位于： :
稀疏矩阵向量乘的FPGA设计与实现.pdf
07-13
稀疏矩阵向量乘的FPGA设计与实现.pdf
深度分析NVIDIA A100显卡架构（附论文&源码下载）
gzq0723的博客
07-14 5802
计算机视觉研究院专栏作者：Edison_G英伟达A100 Tensor Core GPU架构深度讲解上次“计算机视觉研究院”已经简单介绍了GPU的发展以及安培架构的A100显卡，今天我们...
NVIDIA深度学习Tensor Core全面解析（上篇）
weixin_33714884的博客
08-30 3639
雷锋网消息，不久前，NVIDIA在SIGGRAPH 2018上正式发布了新一代GPU架构——Turing（图灵），黄仁勋称Turing架构是自2006年CUDA GPU发明以来最大的飞跃。Turing架构的两大重要特性便是集成了用于光线追踪的RT Core以及用于AI计算的Tensor Core，使其成为了全球首款支持实时光线追踪的GPU。 不过说到...
SparseTensor
qq_27842551的博客
06-14 1675
TensorFlow使用三个dense tensor来表达一个sparse tensor：indices、values、dense_shape。 假如我们有一个dense tensor： [[1, 0, 0, 0] [0, 0, 2, 0] [0, 0, 0, 0]] 那么用SparseTensor表达这个数据对应的三个dense tensor如下： indices：[[0, 0], [1, 2]...
深度 | 英伟达深度学习Tensor Core全面解析
ChopenKing的博客
03-28 4676
不久前，NVIDIA在SIGGRAPH 2018上正式发布了新一代GPU架构——Turing（图灵），黄仁勋称Turing架构是自2006年CUDA GPU发明以来最大的飞跃。Turing架构的两大重要特性便是集成了用于光线追踪的RT Core以及用于AI计算的Tensor Core，使其成为了全球首款支持实时光线追踪的GPU。 说到AI计算，NVIDIA GPU成为最好的加速器早已是公认的事实，...
column-wise 与 row-wise 之间有什么区别？
有关我的科研的足迹、算法竞赛的日子、生活记录。
05-04 595
中，这些实例以行的方式堆叠，形成了一个同样包含 5 层的神经网络。两种方式训练出来的模型都是一样的，只不过其中参数的排列方式不同。中，这 5 个实例以列的方式堆叠在一起，形成了一个包含 5 层的神经网络；在 PyTorch 中，“column-wise” 可以通过。函数来实现，“row-wise” 可以通过。中包含了 5 个相同的。
OpenMP 版本稀疏矩阵向量乘
weixin_34290631的博客
12-27 1176
说明： 1.转载请联系本人 2.代码在最后 问题描述 稀疏矩阵向量乘法（Sparse Matrix-Vector Multiplication, SpMV）在许多科学计算程序中都有广泛的应用。 如下所示，数据矩阵A是稀疏的，输入向量x和输出向量y是稠密的。 y = Ax 要求 根据内存大小测不同规模和不同稀疏程度的稀疏矩阵的处理速度（GFLOPS/s）和带宽（GB/s），并给出计算公式。 请计...
nmap端口扫描工具——LInux
最新发布
weixin_64033212的博客
05-14 159
例如，-p 23表示：只扫描目标主机的23号端口。UDP扫描，发送0字节UDP包，快速扫描Windows的UDP端口如果你想知道在某台主机上提供哪些UDP(用户数据报协议,RFC768)服务，可以使用这种扫描方法。nmap首先向目标主机的每个端口发出一个0字节的UDP包，如果我们收到端口不可达的ICMP消息，端口就是关闭的，否则我们就假设它是打开的。滑动窗口扫描，这项高级扫描技术非常类似于ACK扫描，除了它有时可以检测到处于打开状态的端口，因为滑动窗口的大小是不规则的，有些操作系统可以报告其大小。
帮我整理下关于矩阵运算的加速算法相关的文献或者资料
07-08
当涉及到矩阵运算加速算法时，以下是一些相关的文献和资料，希望能对你有所帮助： 1. Strassen算法：Strassen算法是一种用于矩阵乘法的分治算法，可以在较少的乘法操作次数下加速矩阵乘法。你可以查阅 Volker Strassen 在 1969 年发表的原始论文，题目为 "Gaussian Elimination is not Optimal"。 2. Coppersmith-Winograd算法：Coppersmith-Winograd算法是一种用于矩阵乘法的算法，可以在理论上达到更快的运行时间。你可以查阅 Don Coppersmith 和 Shmuel Winograd 在 1987 年发表的论文，题目为 "Matrix multiplication via arithmetic progressions"。 3. GEMM优化：GEMM（General Matrix Multiply）是一种用于矩阵乘法的基本操作，很多高性能计算库和硬件都对其进行了优化。你可以查阅一些与GEMM优化相关的文献，例如 BLIS（BLAS-like Library Instantiation Software）项目的相关论文。 4. 稀疏矩阵优化：当处理稀疏矩阵时，有一些特定的优化方法可以加速运算。你可以查阅 Tim Davis 编写的《Direct Methods for Sparse Linear Systems》一书，其中有关于稀疏矩阵的优化算法的介绍。 5. 并行计算：并行计算是利用多个处理器或计算机同时进行计算的方法，可以加速矩阵运算。你可以查阅一些与并行计算相关的资料，例如《Parallel Computing for Data Science: With Examples in R, C++ and CUDA》一书。 请注意，这些文献和资料是一些经典的参考，你可能需要进一步搜索和阅读相关的研究论文和书籍来深入了解矩阵运算加速算法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值