在cuda中使用tensor core计算GEMM（上）

最新推荐文章于 2024-07-31 10:37:59 发布
最新推荐文章于 2024-07-31 10:37:59 发布
阅读量6.1k 收藏 28
点赞数 9
分类专栏： CUDA tensor core
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/willowwww/article/details/102489002
版权

 

从CUDA9.0开始就已经支持代码中调用tensor core进行计算，tensor core是NVIDIA的volta架构中新处理单元，分布于各个流处理器（SM）中，其在物理层支持如下形式的运算：

其中矩阵乘法中的A,B数据类型必须为FP16，而累加矩阵C和最终输出数据类型可以为FP16也可以为FP32。

要在自己的kernel中使用tensor core必须包含头文件mma.h，相关变量和结构位于叫做wmma(Warp Matrix Multiply Accumulate) 的namespace中。需要注意的是虽然tensor core物理基本结构为4*4*4的单元，但一般用的时候直接进行16*16大小的矩阵乘法（事实上官方的例子中也提到了WMMA的操作维度目前只支持16*16）。

下面以官方的例子进行说明：

  • 定义和初始化

单次16*16矩阵的乘法和累加称为wmma操作，首先定义wmma在各个方向上的维度（实际上就是单次计算的小矩阵（tile）的size），这里输入的M,N,K，分别为矩阵A的行数，矩阵B的列数，以及A的列数也就是B的行数，注意这里A,B的size不局限于16*16，因为16*16只是单次wmma可运算的矩阵大小，而通过多个warp（SM中的基本执行代码单元，包含32个thread）和循环实现更大size的矩阵运算。


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Willowwww
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    9
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    28
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  6
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Tensor Core 基本原理 CUDA Core Tensor Core RT CoreAI 工作负载 线程束（Warp） CNN GEMM 混合精度训练

				
			

			

				

					万有文的博客
				

				

					05-01
					
					2509
					
				

			

		

		

			
				
当 NVIDIA 的架构演进到 Volta 架构时，它标志着对深度学习优化的重大突破。Volta 架构的一个显著特点是引入了大量的 Tensor Core，这一变化对于加速深度学习应用产生了革命性的影响。在 Tensor Core 出现之前，CUDA Core 是实现深度学习加速的核心硬件技术。CUDA Core 可以处理各种精度的运算。如上图 Volta 架构图所示，左侧有 FP64、FP32 和 INT32 CUDA Cores 核心，右侧则是许多 Tensor Core 核心。CUDA Core。

			
		

	



                

              
                



	

		

			

				
					
CUDA之通用矩阵乘法：从入门到熟练！

				
			

			

				

					CV_Autobot的博客
				

				

					03-24
					
					404
					
				

			

		

		

			
				
作者|紫气东来 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/657632577点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『模型部署』技术交流群本文只做学术分享，如有侵权，联系删文通用矩阵乘法 (General Matrix Multiplication，GEMM) 是各...

			
		

	



                


  
              

                


	

		

			

				
					
令人头秃的cudaTensorCoreGemm详解

				
			

			

				

					jianjianheng的博客
				

				

					08-27
					
					5654
					
				

			

		

		

			
				
我曾被cudaTensorCoreGemm的代码苦苦折磨了一个月，官方文档也不够详细，代码虽然很多注释也不太好理解，于是决定自己写一个cudaTensorCore的详解。本文主要对cudaTensorCore中的compute_gemm函数进行分析。

 Compute_gemm函数流程图如下图所示：





 Cuda wmma API主要用于使用SM中WARP和TensorCore加速矩阵乘加运算，标准公式如下（大写字母均为矩阵）：

D=α×A×B+β×C

 其中A矩阵为M×K，B...

			
		

	





	

		

			

				
					
GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构

					
最新发布

				
			

			

				

					生活需要深度
				

				

					07-31
					
					668
					
				

			

		

		

			
				
以一个简单的 A*B=C 矩阵乘法为例（其中每个矩阵的大小都是 32×32），我们会将反复访问的数据加载到共享内存（shared memory）中，这样做的主要原因是共享内存的延迟约为全局内存的六分之一（200 个周期 vs 34 个周期）。例如，从全局内存中加载的粒度是32*4字节，恰好是32个浮点数，每个线程束中的每个线程恰好一个浮点数。要执行矩阵乘法运算，我们需要合理利用 GPU 的内存层次结构，从速度较慢的全局内存到较快的二级缓存，再到快速的本地共享内存，最后到速度快如闪电的寄存器。

			
		

	



		

			
		



	

		

			

				
					
CUDA算子优化：矩阵乘GEMM优化(二)

				
			

			

				

					qq_56047026的博客
				

				

					06-13
					
					1179
					
				

			

		

		

			
				
A_TILE_ROW_START代表在这个维度为bm*bk的数据块中，当前线程需要搬运的数据的竖向坐标，而A_TILE_COL代表需要搬运的数据的横向坐标。那么我们需要开启（2048/128）*（2048/128）=256个block，每个block里面有（128/8）*（128/8）=256个线程，每个线程需要负责计算C矩阵中8*8=64个元素的结果，每个block负责256*64=16384个元素的结果。在一轮迭代中需要使用bm*bk的数据，为了加快后续的访存，所以需要进行一次转置。

			
		

	





	

		

			

				
					
CUDA算子优化：矩阵乘GEMM优化（一）

				
			

			

				

					qq_56047026的博客
				

				

					06-12
					
					924
					
				

			

		

		

			
				
采用最navie的GEMM算法，在GPU中，一共开启m*n个线程，每个线程需要读取矩阵A的一行和矩阵B的一列，而后将计算结果写回矩阵C中。其中，M=m/bm，N=n/bn，K=k/bk。当进行K轮迭代中某一轮迭代时，GPU将维度为bm*bk，bk*bn的小矩阵块存储到shared memory中，而后各个线程将shared memory中的数据存入register中进行计算。在完成以上的过程后，对于一个线程而言，它现在拥有：rm个A矩阵的寄存器值，rn个B矩阵的寄存器值，一级rm*rn个C矩阵的寄存器值。

			
		

	





	

		

			

				
					
使用cutlass实现多种精度的GEMM，支持cuda core与tensor core

				
			

			

				

					weixin_42764932的博客
				

				

					03-27
					
					1660
					
				

			

		

		

			
				
使用cutlass实现多种精度的GEMM，附有完整代码与cmakelist

			
		

	





	

		

			

				
					
将tensor数据部署在cuda:0上的两种方法

				
			

			

				

					Shadow_King_158的博客
				

				

					07-17
					
					124
					
				

			

		

		

			
				
只能将数据暂时转移到cuda:0上，当这一行代码运行完毕，x又会重新回到CPU上。

			
		

	





	

		

			

				
					
CUDA 9中张量核（Tensor Cores）编程

				
			

			

				

					吴建明wujianming_110117
				

				

					06-03
					
					2935
					
				

			

		

		

			
				
CUDA 9中编程张量核（Tensor Cores）
Programming Tensor Cores in CUDA 9
一．概述
新的Volta GPU架构的一个重要特点是它的Tensor核，使Tesla V100加速器的峰值吞吐量是上一代Tesla P100的32位浮点吞吐量的12倍。Tensor内核使人工智能程序员能够使用混合精度来获得更高的吞吐量，而不牺牲精度。
Tensor核心已经在许多深度学习框架（包括Tensorflow、PyTorch、MXNet和Caffe2）中支持深度学习训练，无论是在

			
		

	





	

		

			

				
					
深入理解混合精度训练：从 Tensor Core 到 CUDA 编程

				
			

			

				

					旷视开发者技术社区
				

				

					12-20
					
					3190
					
				

			

		

		

			
				
背景近年来，自动混合精度（Auto Mixed-Precision，AMP）技术在各大深度学习训练框架中作为一种使用简单、代价低廉、效果显著的训练加速手段，被越来越广泛地应用到算法研究中。...

			
		

	





	

		

			

				
					
tensor core int8矩阵乘法

				
			

			

				

					wangyuehy的博客
				

				

					01-14
					
					2144
					
				

			

		

		

			
				
最近在研究tensor core 加速，文档中提到在turing 架构之后，tensor core 就支持了int8 的矩阵运算，但是网上文档相对较少，收集了几个文档备查。
第一个链接是NV 官方关于tensor core 的介绍，重点讲了几个问题，输入大小限制，带宽限制。

输入限制，要求输入是8/16/64/128的整数倍，例如

linear batchsize 应该是8(fp16)/16(int8)的倍数
conv,  channel 是 8(fp16)/16(int8)的倍数
gemm, 维度是6

			
		

	





	

		

			

				
					
CUDA中的Tensor

				
			

			

				

					qianchedu的博客
				

				

					03-27
					
					2025
					
				

			

		

		

			
				
CUDA(Computer Unified Device Architecture)，是NVIDIA推出的运算平台。CUDA是一种有NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。

torch.cuda这个模块增加了对CUDA tensor的支持，能够在cpu和gpu上使用相同的方法操作tensor.

通过.to方法能够把一个tensor转移到另外一个设备(比如从CPU转到GPU)




import torch

x = torch.rand(5,3)

if torch.

			
		

	





	

		

			

				
					
Nvidia Tensor Core-CUDA HGEMM优化进阶

				
			

			

				

					https://www.zhihu.com/people/mu-zi-zhi-6-28
				

				

					07-14
					
					1439
					
				

			

		

		

			
				
GEMM（General Matrix Multiplication）矩阵乘法是深度学习中最常用且最耗时的算法之一，特别是在CNN、RNN、Transformer等领域中。在这些领域中，大量的矩阵乘法操作需要被快速计算和处理。因此，高效的矩阵乘法实现对于深度学习任务的性能和准确性至关重要。

			
		

	





	

		

			

				
					
CUDA编程之GEMM优化

				
			

			

				

					QQ哥的专栏
				

				

					10-17
					
					2877
					
				

			

		

		

			
				
CUDA编程之GEMM优化

			
		

	





	

		

			

				
					
CUDA矩阵乘法GEMM优化：全局内存-共享内存-寄存器优化，以及数据预存取优化

				
			

			

				

					weixin_55035144的博客
				

				

					06-21
					
					1096
					
				

			

		

		

			
				
可以将 A 和 B 矩阵先搬运到 Shared Memory（SM 中低延迟的 on-chip memory，block 内线程共享，附 NVIDIA GPU 内存结构图）中降低访存的开销，这的确是一个很好的思路，但是这只能将访存代价从几百 cycle 降低到几十 cycle，并不改变问题的本质。相对于之前的情况，计算指令的占比大大提高了。问题的关键在于主体循环由两条 Load 指令与一条 FMA 指令构成，计算指令只占总体的 1/3，计算访存比过低，最终导致了访存延迟不能被隐藏，从而性能不理想。

			
		

	





	

		

			

				
					
pytorch 手动设置参数变量 并转到cuda上

				
			

			

				

					zl_gao的搬砖记录
				

				

					01-11
					
					4087
					
				

			

		

		

			
				
通过nn.Parameter设置参数（参与后向，可更新，随模型保存）
self.temprt_Q = torch.nn.Parameter(torch.tensor(1.).cuda(), requires_grad=True)

注意⚠️：转到cuda的设置要在将tensor转成parameter之前，即：torch.tensor(1.).cuda()，而不是torch.nn.Parameter(torch.tensor(1.), requires_grad=True).cuda(),该操作会导致para

			
		

	





	

		

			

				
					
pytorch：to()、device()、cuda()将Tensor或模型移动到指定的设备上

				
			

			

				

					weixin_42046845的博客
				

				

					12-14
					
					8630
					
				

			

		

		

			
				
将Tensor或模型移动到指定的设备上：tensor.to('cuda:0')

			
		

	





	

		

			

				
					
model里的tensor一次性init到cuda-注意事项

				
			

			

				

					喵
				

				

					01-14
					
					1200
					
				

			

		

		

			
				
问题：
定义了一个model，里面有很多类，每个类里有定义的各种tensor。之前是哪里报错在cpu上就加个.cuda()  ,太麻烦了，改改。
将定义的矩阵都写到函数或者类里：
qtable_8x8 = [[16, 16, 16, 16, 17, 18, 20, 24],
        [16, 16, 16, 17, 18, 20, 24, 25],
        [16, 16, 17, 18, 20, 24, 25, 28],
        [16, 17, 18, 20, 24, 25, 2

			
		

	





	

		

			

				
					
判断一个tensor是否在cuda上

				
			

			

				

					06-01
				

			

		

		

			
				
可以通过检查该tensor的device属性来判断它是否在cuda上。如果该tensor在cuda上，则其device属性应该是类似于`cuda:0`的字符串；如果该tensor在CPU上，则其device属性应该是`cpu`。可以使用以下代码实现：

```
import torch

tensor = torch.tensor([1, 2, 3])
if tensor.device.type == 'cuda':
    print('Tensor is on CUDA')
else:
    print('Tensor is on CPU')
```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 6

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值