后传-GEMM通用矩阵乘优化

最新推荐文章于 2024-08-06 11:06:14 发布
最新推荐文章于 2024-08-06 11:06:14 发布
阅读量369 收藏 5
点赞数 8
文章标签： 矩阵 线性代数 通用矩阵乘 GPU 线程块 C++ CUDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44270070/article/details/135549258
版权

写在前面

本文不是GEMM优化教程！！！

只适合已经学过GEMM理论，但是在实践过程中对thredidx，blockidx与矩阵中数据的对应关系还有困惑的同学。

可以先看完其他教程再来本文巩固一下。

主体

本文以CUDA矩阵乘法的优化中的gemm_128x128为示例画出线程与数据中的对应关系，先看完链接中的内容再来看这个比较好。

在这里插入图片描述
这里压缩画质了，可以访问link下载

待补充

此示例中m,n,k必须是32的倍数，无法计算通用的矩阵，后续会添加，敬请期待。

写在后面

这是作者第一次写文章，明明脑子里面想的很好，但就是表达不出来，写下来的要么唠唠叨叨一大堆，要么十分简洁，只有自己才能看懂。从小到大最害怕的就是写文章了┭┮﹏┭┮。

作者水平疏浅，还请见谅。如果您在阅读的过程中发现错误或者觉得哪里还需要完善，欢迎联系作者。

zwhy78
关注
gemm_hls:在Xilinx FPGA的Vivado HLS中实现的基于可伸缩脉动阵列的矩阵矩阵乘法
05-06
FPGA上的可扩展矩阵矩阵乘法 该存储库包括用于Xilinx FPGA的矩阵矩阵乘法（A * B = C）的纯Vivado HLS实现，使用Xilinx Vitis / SDx / SDAccel实例化内存和PCIe控制器并与主机接口。 在上进行的实验实现了一半，单精度和双精度的462 GFLOP / s，301 GFLOP / s和132 GFLOP / s，其中跨越三个SLR的路由是主要瓶颈，阻止了进一步扩展。 该代码不是特定于设备的，可以为Xilinx OpenCL运行时支持的任何Xilinx FPGA进行配置。 内核也已验证可在TUL KU115和Alveo U250板上执行，结果相似。 该实现使用脉动阵列方法，其中线性连接的处理元素计算对输出矩阵图块的外部乘积的不同贡献。 在 [1]中介绍了用于实现该内核的方法。 有关我们应用的优化技术的一般说明，请参阅有关的文章[2]。
GEMM矩阵计算中共享内存的存取
weixin_55035144的博客
06-20 258
而若一个 thread 并不只计算一个结果，而是计算 4x4=16个结果，就要从A和B中分别取出4个数据，共8个数据。访存比变为16/8=2，是上面的4倍。C矩阵为128*128大小的矩阵。C矩阵被分成了四份，每份的尺寸都为4*4，使用同一个线程计算这四份4*4大小区域的FMA计算。计算一次 FMA（乘累加）为一次运算，而各读取 A 和B中一个元素为1+1=2次运算。注意，这里将全局内存中的A矩阵存入共享内存smemA中时进行了矩阵转置。
ubuntu系统&XDMA&HLS-一个简单的gemm小示例
dare_xds的博客
08-06 711
-两个4x4矩阵相乘，得到一个4x4矩阵结果因为现在人工智能的关系，卷积运算转矩阵运算可以对整个深度学习的流程进行加速，所以现在的深度学习业务，关于ima2col，gemm，脉动阵列矩阵等等都是需要做深度学习掌握的技术。
通用矩阵乘（GEMM）优化算法从入门到实践
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
10-13 1426
矩阵乘的算法优化可分为两类：基于算法分析的方法：根据矩阵乘计算特性，从数学角度优化，典型的算法包括 Strassen 算法和 Coppersmith–Winograd 算法。基于软件优化的方法：根据计算机存储系统的层次结构特性，选择性地调整计算顺序，主要有循环拆分向量化、内存重排等。
【最细节】在矩阵乘法GEMM中优化Shared Memory的访问
weixin_55035144的博客
08-08 511
1.向量外积的矩阵乘法要取A中一列，B中一行。但A是行主序存储的，要把它改成列主序存储，来使得。这也能避免Bank Conflict。A的长度为TM，B的长度为TN。一次外积共TM * TN次乘累加。一共需要循环BK次，取BK次循环，每次循环中进行TM * TN次乘累加。得到的结果累加为C矩阵的结果。
高性能计算实验——通用矩阵乘法串行编程的实现及优化
weixin_43973089的博客
04-19 3693
高性能计算实验——通用矩阵乘法串行编程的实现及优化1.实验目的1.1通用矩阵乘法1.2通用矩阵乘法优化1.3大规模矩阵计算优化2.实验过程和核心代码2.1通用矩阵乘法2.2通用矩阵乘法优化2.3大规模矩阵计算优化4.实验结果4.1通用矩阵乘法4.2Strassen算法5.实验感想 1.实验目的 1.1通用矩阵乘法 熟练掌握通用矩阵乘法的原理以及实现GEMM，为后续实验打下基础，用C 语言实现一个矩阵乘法。 1.2通用矩阵乘法优化 进一步熟悉矩阵乘法的实现，深入学习矩阵乘法的优化算法，学习矩阵乘法的复杂度分析
Python-openaigemm开放单精度半精度GEMM通用矩阵乘法实现
08-11
在IT领域，尤其是在机器学习和深度学习中，通用矩阵乘法（Generalized Matrix Multiplication，简称GEMM）是一项至关重要的运算。`Python-openai-gemm`是一个专门针对单精度（Single Precision，FP32）和半精度...
高性能计算导论实验5-通用矩阵乘法基于OpenMP的实现及优化
05-07
在本实验中，我们主要探讨的是高性能计算领域中的一个核心问题——通用矩阵乘法（Generalized Matrix Multiplication，简称GEMM），并将其与并行计算技术OpenMP相结合，以实现计算性能的优化。OpenMP是一种广泛应用...
细粒度任务并行GPU通用矩阵乘.pdf
09-25
【细粒度任务并行GPU通用矩阵乘】是针对GPU处理器进行数据处理的一种优化策略，主要应用于密集线性代数运算。在许多实际应用中，如模式识别、生物信息学等，密集线性代数运算起着至关重要的作用，而通用矩阵乘（GEMM...
高性能计算导论实验4-基于Pthreads并行实现通用矩阵乘法、数组求和及二次方程组求解
05-07
首先，我们来看通用矩阵乘法(GEMM)。在计算机科学中，矩阵乘法是线性代数中的基本运算，广泛应用于图像处理、机器学习、物理模拟等多个领域。传统方法中，矩阵乘法的时间复杂度为O(n^3)，对于大规模矩阵来说，计算量...
wygemm:王毅的简单快速GEMM用于小矩阵
04-11
"wygemm" 是一个项目名称，由开发者 "王毅" 创建，旨在提供一个简单而快速的通用矩阵乘法（GEMM）实现，特别针对小矩阵运算。GEMM是线性代数中的一个基础操作，广泛应用于机器学习、图像处理、科学计算等领域。...
GEMM优化(RISC-V平台)
ZhaoDongyu_AK47的博客
02-27 1735
本项目记录了在riscv平台上优化SGEMM（单精度浮点通用矩阵乘法）的过程。 通用矩阵乘（General Matrix Multiplication，简称gemm）是深度学习框架的核心计算单元之一，广泛用于Convolution、Full connection、Matmul等算子实现。
基于GPU的GEMM矩阵相乘运算优化
weixin_55035144的博客
06-12 1123
从上图中我们可以看到三种处理方法。第一种是将A和B矩阵分块，第二种方法是将C和B矩阵分块，第三种方法是将C和A矩阵分块。GEMM的子任务是GEPP或GEMP；最小粒度的任务是GEBP或GEPB或点乘。
CUDA算子优化：矩阵乘GEMM优化(三)
qq_56047026的博客
06-14 1021
举例来说，要计算C矩阵1，2，3，4，5的元素的值，正常的顺序是调用FFMA指令先算1，再算2等。一般而言，如果并行策略不太行，那么计算指令的占比会很低，这样的话，访存所导致的latency很难被计算指令掩盖，计算效率会非常差。scott的sgemm在maxwell产生的汇编代码如下图左，为了比较，我们将GEMM(二)中的代码sgemm_v2最后生成的SASS码放在一起用比较。这里面有两个优化技巧，一个是寄存器的重映射，另一个是调整FFMA顺序，尽可能地在指令中使用.reuse标识以及提高双发射的效率。
CUDA算子优化：矩阵乘GEMM优化（一）
qq_56047026的博客
06-12 1049
采用最navie的GEMM算法，在GPU中，一共开启m*n个线程，每个线程需要读取矩阵A的一行和矩阵B的一列，而后将计算结果写回矩阵C中。其中，M=m/bm，N=n/bn，K=k/bk。当进行K轮迭代中某一轮迭代时，GPU将维度为bm*bk，bk*bn的小矩阵块存储到shared memory中，而后各个线程将shared memory中的数据存入register中进行计算。在完成以上的过程后，对于一个线程而言，它现在拥有：rm个A矩阵的寄存器值，rn个B矩阵的寄存器值，一级rm*rn个C矩阵的寄存器值。
论文阅读:矩阵乘法GEMM的cache优化,子矩阵的切分方法Anatomy of High-Performance MatrixMultiplication
weixin_55035144的博客
07-21 870
矩阵乘法的优化需要将矩阵切分成子矩阵，用子矩阵相乘的结果组合为原矩阵相乘的结果：上图是拆分矩阵的方法，M表示矩阵，X方向和Y方向的两个维度都是未知的。P表示横条或竖条，X方向或Y方向有一个方向的维度是极小的。B表示block块，X方向和Y方向的两个维度都是极小的。为了减小单个子矩阵计算量，要拆开A的整行和B的整列。不能让和作为子矩阵。因此下图中第二列的Fig8和Fig10拆得最好，把A按列拆，使A的行不再完整，把B按行拆，使B的列不再完整。
fpga 浮点运算 应用_FPGA、可编程HPC未来就靠你们了
weixin_42520374的博客
12-11 489
技术名词：FPGA、HPC、触发器过滤器、Github、HLS、hls4ml、Project Catapult、HWMS、ML、DNN、GEMM、StatixFPGA为高性能计算和机器学习提供了一种早期的架构专门化选项。体系结构专门化是继续改进性能的一种选择，以克服摩尔定律中减缓技术步伐所带来的限制。无论是在功耗还是性能方面，使用特定于应用程序的硬件来加速应用程序或其中一部分，并允许使用更高效的硬...
3D卷积的GEMM+IM2COL实现
qq_40268672的博客
11-05 984
由于pytorch官方的API torch.nn.unfold仅支持二维图像(四维输入张量）的im2col操作，因此，使用GEMM+IM2COL来高效的计算3D卷积并非易事，经过搜索，找到了github上一个很不错的unfold操作实现,它不仅支持4维输入张量的im2col，还支持3、5维张量的im2col，这里给出该仓库的链接 使用该第三方库的方法也很简单，只需通过 import unfoldNd 语句导入即可 以下为使用该第三方库实现的基于GEMM+im2col的3D卷积： import
通用矩阵乘（GEMM）算法与小规模矩阵乘算法进行优化
最新发布
08-25
通用矩阵乘（GEMM），全称为General Matrix Multiply，是计算密集型的基本运算，广泛应用于各种线性代数和机器学习算法中。对于大规模矩阵，GEMM通常采用Strassen算法、Coppersmith-Winograd算法等高级技术来加速，但对小规模矩阵，由于算法复杂度的优势不再明显，常规的Blas库已经足够高效。 针对小规模矩阵，优化重点在于简化计算步骤和减少额外的内存访问。一些常见的优化包括： 1. **循环展开**：尽可能减少内层循环的迭代次数，利用现代处理器的SIMD（Single Instruction Multiple Data）特性，一次性处理多个元素。 2. **零填充处理**：如果矩阵中有大量零元素，可以在计算之前跳过这些位置，减少计算量。 3. **算法选择**：对于非常小的矩阵，直接使用基础的矩阵乘法（逐元素相乘然后累加）可能比更复杂的快速算法更快，因为快速算法的开销（如递归调用或预计算常数）可能会超过节省的时间。 4. **缓存优化**：尽量保持矩阵在高速缓存中，减少从主内存加载的次数。 总之，对于小规模矩阵，优化目标是在保持简洁性的前提下，充分利用硬件特性，提升运行速度而不会引入过多的复杂性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值