triton之gemm

已于 2024-05-27 13:56:34 修改
阅读量317 收藏
点赞数
分类专栏： 通俗易懂技术站 文章标签： 人工智能 cuda triton python
于 2024-05-13 17:26:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youzjuer/article/details/138805269
版权
本文探讨了在不使用group GEMM时，硬件执行调度的问题，即GEMM操作可能导致CUDA流multiprocessors (SM)的空闲。通过引入group GEMM，可以确保SM更有效地负载平衡，减少空闲状态。文章深入源码，分析了入口函数和kernel函数，解释了如何根据矩阵维度进行数据划分，并保证所有SM的工作负载。
摘要由CSDN通过智能技术生成

一 原理

如果不采用group gemm的话，采用单流执行，则具体的硬件执行调度如下所示：

gemm0，gemm1，gemm2同时分配任务给sm做 

第一轮：gemm0、gemm1和gemm2的0-3分给4个sm分别做，都计算完成

第二轮：gemm0在上一轮已经计算完毕，gemm1和gemm2的45分给sm0，sm1去做，在这一轮可以发现，sm0和sm1针对gemm0的task出现了idel，而sm2和sm3对三个gemm的task都是idle状态

而如果采用group gemm，则可以实现：

 就是保证sm尽量满载，而不处于idle状态

二 源码分析

1 入口函数


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  youzjuer
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
天下苦英伟达久矣！PyTorch官方免CUDA加速推理，Triton时代要来？

				
			

			

				

					leyang0910的博客
				

				

					09-13
					
					236
					
				

			

		

		

			
				
在做大语言模型（LLM）的训练、微调和推理时，使用英伟达的 GPU 和 CUDA 是常见的做法。在更大的机器学习编程与计算范畴，同样严重依赖 CUDA，使用它加速的机器学习模型可以实现更大的性能提升。虽然 CUDA 在加速计算领域占据主导地位，并成为英伟达重要的护城河之一。但其他一些工作的出现正在向 CUDA 发起挑战，比如 OpenAI 推出的 Triton，它在可用性、内存开销、AI 编译器堆栈构建等方面具有一定的优势，并持续得到发展。

			
		

	



                

            
              



	

		

			

				
					
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署

				
			

			

				

					q742971636的博客
				

				

					07-25
					
					2344
					
				

			

		

		

			
				
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。

			
		

	



              


  
              

                


	

		

			

				
					
FlashAttention3：“GEMM”就是比较快！

				
			

			

				

					鲁班模锤
				

				

					07-15
					
					1195
					
				

			

		

		

			
				
FlashAttention-3比使用FP16的FlashAttention-2 快1.5-2.0倍，即H100理论最大FLOPS利用率为 75%。使用FP8 时，FlashAttention-3 达到接近 1.2 PFLOPS。

			
		

	





	

		

			

				
					
基于 Megatron-Core 的稀疏大模型训练工具：阿里云MoE大模型最佳实践

				
			

			

				

					阿里云云栖号
				

				

					01-31
					
					1374
					
				

			

		

		

			
				
随着大模型技术的不断发展，模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果，但训练和推理成本高，一直是巨大挑战。

			
		

	



		

			
		



	

		

			

				
					
卷积实现—im2col+gemm

				
			

			

				

					two_apples的博客
				

				

					06-25
					
					1658
					
				

			

		

		

			
				
看卷积的实现，先看其普通的计算方式：滑窗计算和其计算shape大小的公式，以及各个卷积特性对其计算的影响，比如：stride，group，dilation，pad等。Hout​Hin​−kh​pt​pb​strideh​1Wout​Win​−kw​pl​pr​stridew​1上面公式以2D卷积为例，输出特征图的形状计算公式。

			
		

	





	

		

			

				
					
深度学习之常用算子介绍

				
			

			

				

					ueke1的博客
				

				

					04-02
					
					4578
					
				

			

		

		

			
				
打开 onnx 模型图，可以看到它是一个有向无环图。除了 Input、Output ，其他都是算子（是操作，而不是节点）在ONNX（Open Neural Network Exchange）模型中，除了输入和输出，其他都是算子（Operations）。算子是表示神经网络模型中的不同操作或层的元素。一个ONNX模型由一系列算子组成，通过连接这些算子来定义模型的计算流程。

			
		

	





	

		

			

				
					
MoE训练论文解读之Megablocks：打破动态路由限制

				
			

			

				

					Kaiyuan_sjtu的博客
				

				

					11-08
					
					585
					
				

			

		

		

			
				
作者|方佳瑞（已授权）整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/653270049GPT-4用了Mixture-of-Experts（MoE）架构，引起了广泛关注。然而，MoE训练并不是一项简单的任务，它面临着一些主要的挑战和难点：1、动态路由限制：当前的框架对MoE层中的动态路由进行了限制，以满足现有软件和硬件的约束条件。用户必须在计算中选择d...

			
		

	





	

		

			

				
					
【pytorch】torch.mm，torch.bmm以及torch.matmul的使用

					
热门推荐

				
			

			

				

					安安爸Chris的专栏
				

				

					08-19
					
					2万+
					
				

			

		

		

			
				
torch.mm
torch.mm是两个矩阵相乘，即两个二维的张量相乘
如下面的例子
mat1 = torch.randn(2,3)
print("mat1=", mat1)

mat2 = torch.randn(3,2)
print("mat2=", mat2)

mat3 = torch.mm(mat1, mat2)
print("mat3=", mat3)


但是如果维度超过二维，则会报错。RuntimeError: self must be a matrix
torch.bmm
它其实就是加了一

			
		

	





	

		

			

				
					
Triton Inference Server部署Meta-Llama-3-8B-Instruct大模型TensorRT-LLM量化后端服务详细命令和代码

					
最新发布

				
			

			

				

					guiwenming的博客
				

				

					10-02
					
					1217
					
				

			

		

		

			
				
最近准备用Triton Inference Server部署llama3大模型，苦于资料很少，听了多次NVIDIA的课程，查阅了很多中英文资料，经过多次尝试，终于大告成功。此文章整理全部部署过程，分享成果。

			
		

	





	

		

			

				
					
swizzle

				
			

			

				

					youzjuer的博客
				

				

					09-30
					
					91
					
				

			

		

		

			
				
为了减少指令数，我们在进行kernel优化时会采用向量化的读写指令（也叫大字长读写），如以128bit的形式读写共享内存，此时线程需要访问的单位数据量为16byte，32个线程需要访问的数据量为16byte x 32 = 512byte。如图2，当32个线程同时访问32个不同的bank时，各个bank是并行执行的，其效率是最高的，即32个线程并发的访问32个bank中不同颜色的单元，是可以并行的，值得注意的是其中的线程编号（如图2中的T0所示）和bank中的行位置并没有连续性要求。

			
		

	





	

		

			

				
					
【代码阅读】Sparse Convolution代码理解

				
			

			

				

					麒麒哈尔的博客
				

				

					05-06
					
					1万+
					
				

			

		

		

			
				
文章目录OpenPCDet：VoxelBackBone8xspconvSparse TensorSubMConv3dget_indice_pairsindice_subm_convGEMM
Sparse Convolution成功用于3D目标检测的网络，例如Second，Part-A^2，PV-RCNN等，证明其有效性。相比于3D Convolution，在运算速度和显存消耗中有巨大的优势。Sparse Convolution在SECOND论文中提出，并且原文中给出了实现的方法。但在Part-A2A^2A2

			
		

	





	

		

			

				
					
模型量化 pytorch2onnx

				
			

			

				

					wholetus的博客
				

				

					08-31
					
					1380
					
				

			

		

		

			
				
pytorch转onnx

			
		

	





	

		

			

				
					
【深度学习】Torch卷积层源码详解

				
			

			

				

					shenxiaolu1984的专栏
				

				

					08-31
					
					1万+
					
				

			

		

		

			
				
本文以前向传播为例，详细分析Torch的nn包中，SpatialConvolution函数的实现方式。

			
		

	





	

		

			

				
					
学习BLAS库 -- GEMM

				
			

			

				

					cocoonyang的专栏
				

				

					03-04
					
					1万+
					
				

			

		

		

			
				
函数语法:    SGEMM( TRANSA,  TRANSB,  M,  N,  K,  ALPHA,  A, LDA, B, LDB, BETA, C, LDC) 功能：matrix matrix multiply ( row major order)| C C C C C |           | A A A |                      | C C C C C |    ...

			
		

	





	

		

			

				
					
caffe中的矩阵运算函数caffe_cpu_gemm,cblas_sgemm等解析

				
			

			

				

					小小码农的博客
				

				

					05-31
					
					5842
					
				

			

		

		

			
				
caffe中最典型且常用的卷积运算，是通过将卷积操作转化成矩阵乘法来实现的，因此，卷积层的一系列程序实际上就是在为矩阵的卷积式展开和矩阵乘法函数做准备，caffe_cpu_gemm也就是在调用矩阵乘法函数cblas_sgemm。1.矩阵间乘法：这里我们先来看一下这些矩阵乘法函数有输入需求，以单精度矩阵乘法函数cblas_sgemm为例：cblas_sgemm(CblasRowMajor, Cbla...

			
		

	





	

		

			

				
					
Caffe中卷积层的实现

				
			

			

				

					时光杂货店
				

				

					11-24
					
					5880
					
				

			

		

		

			
				
作者：xg123321123出处：http://blog.csdn.net/xg123321123/article/details/53319080声明：版权所有，转载请联系作者并注明出处1 简述
使用im2col分别将featrue maps和filter转换成矩阵；
调用GEMM（GEneralized Matrix Multiplication）对两矩阵内积，这样一来卷积操作就被转化为了矩阵乘

			
		

	





	

		

			

				
					
torch.mul() 和 torch.mm() 区别

				
			

			

				

					是鲤鱼啊
				

				

					01-07
					
					2万+
					
				

			

		

		

			
				
torch.mul(a, b)是矩阵a和b对应位相乘，a和b的维度必须相等，比如a的维度是(1, 2)，b的维度是(1, 2)，返回的仍是(1, 2)的矩阵
torch.mm(a, b)是矩阵a和b矩阵相乘，比如a的维度是(1, 2)，b的维度是(2, 3)，返回的就是(1, 3)的矩阵https://blog.csdn.net/Real_Brilliant/article/details/857...

			
		

	





	

		

			

				
					
pytorch中torch.mul() 和 torch.mm() 的区别

				
			

			

				

					奔跑的小仙女
				

				

					02-04
					
					3874
					
				

			

		

		

			
				
torch.mul(a, b) 是矩阵a和b对应位相乘，a和b的维度必须相等。
torch.mm(a, b) 是矩阵a和b矩阵相乘
import torch

a = torch.rand(1, 2)
b = torch.rand(1, 2)
c = torch.rand(2, 3)

print(torch.mul(a, b))  # 返回 1*2 的tensor
print(torch.mm(...

			
		

	





	

		

			

				
					
卷积操作中的矩阵乘法（gemm）—— 为什么矩阵乘法是深度学习的核心所在

				
			

			

				

					weixin_30532837的博客
				

				

					07-08
					
					1041
					
				

			

		

		

			
				
1. 全连接

 
 



k 个输入；
n 个神经元； 
每个神经元都会学到一组权值向量，以和输入进行内积运算；
n 个输出；




2. 卷积

卷积操作对于高维（多个平面）的输入，单个卷积核的深度应和输入的深度（depth）保持一致：

 
 


3 维卷积运算执行完毕，得一个 2 维的平面：

 
 


注，n 个3维卷积核以得到 n 个 feat...

			
		

	





	

		

			

				
					
Windows平台下通过Triton包安装Mamba指南

				
			

			

				

					
				

			

		

		

			
				
资源摘要信息:"Triton-2.0.0-cp310-cp310-win-amd64.whl文件是专门为Windows平台设计的Python库安装包，特别适用于使用Mamba作为包管理器的环境。本文将详细解析这个文件的含义、用途以及安装和配置Mamba的步骤。  ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
youzjuer

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值