BLAS之GEMM和GEMV

最新推荐文章于 2024-06-09 22:45:40 发布
最新推荐文章于 2024-06-09 22:45:40 发布
阅读量7.8k 收藏 15
点赞数 4
分类专栏： C++代码优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37870649/article/details/109129113
版权

BLAS简介

BLAS全称是Basic Linear Algebra Subprograms是规定了一套低级的执行常见线性代数操作的规范。其实现经常针对特殊的机器进行优化，比较著名的·BLAS库有ACML, ATLAS, MKL, OpenBLAS。许多常见的数值软件均采用兼容BLAS规范的实现库来进行线性代数计算，比如Matlab, Numpy, Mathematica`。

其中，Level 1 BLAS主要提供向量操作


Level 2 BLAS提供矩阵向量操作（gemv)

gemv


而Level 3 BLAS则提供广义矩阵乘积操作(gemm)

gemm


GEMM在深度学习中是十分重要的，全连接层以及卷积层基本上都是通过GEMM来实现的，而网络中大约90%的运算都是在这两层中。而一个良好的GEMM的实现可以充分利用系统的多级存储结构和程序执行的局部性来充分加速运算。

 

gemm接口解析

gemm的函数接口如下图所示，darknet中也采用了类似的接口设计。

sgemm
其中，A,B,C分别是MxK, KxN, MxN的矩阵，TRANSA, TRANSB, TRANSC表示是否使用对应矩阵的转置，ALPHA, BETA为对应的系数。而LDA, LDB, LDC表示对应矩阵的leading dimension，即第一维度的大小。根据我的理解（结合darknet的源码），是因为在内存中是连续存放的，而这个leading dimension的量是用来定义元素的位置的，即add(A[i, j])=A+i*lda+j。其中sgemm中的s表示是单精度的运算，类似的，还有dgemm。

gemm代码分析：


源码

 *
 *  -- Reference BLAS level3 routine (version 3.7.0) --
 *  -- Reference BLAS is a software package provided by Univ. of Tennessee,    --
 *  -- Univ. of California Berkeley, Univ. of Colorado Denver and NAG Ltd..--
 *     December 2016
 *
 *     .. Scalar Arguments ..
       REAL ALPHA,BETA
       INTEGER K,LDA,LDB,LDC,M,N
       CHARACTER TRANSA,TRANSB
 *     ..
 *     .. Array Arguments ..
       REAL A(LDA,*),B(LDB,*),C(LDC,*)
 *     ..
 *
 *  =====================================================================
 *
 *     .. External Functions ..
       LOGICAL LSAME
       EXTERNAL lsame
 *     ..
 *     .. External Subroutines ..
       EXTERNAL xerbla
 *     ..
 *     .. Intrinsic Functions ..
       INTRINSIC max
 *     ..
 *     .. Local Scalars ..
       REAL TEMP
       INTEGER I,INFO,J,L,NCOLA,NROWA,NROWB
       LOGICAL NOTA,NOTB
 *     ..
 *     .. Parameters ..
       REAL ONE,ZERO
       parameter(one=1.0e+0,zero=0.0e+0)
 *     ..
 *
 *     Set  NOTA  and  NOTB  as  true if  A  and  B  respectively are not
 *     transposed and set  NROWA, NCOLA and  NROWB  as the number of rows
 *     and  columns of  A  and the  number of  rows  of  B  respectively.
 *
       nota = lsame(transa,'N')
       notb = lsame(transb,'N')
       IF (nota) THEN
           nrowa = m
           ncola = k
       ELSE
           nrowa = k
           ncola = m
       END IF
       IF (notb) THEN
           nrowb = k
       ELSE
           nrowb = n
       END IF
 *
 *     Test the input parameters.
 *
       info = 0
       IF ((.NOT.nota) .AND. (.NOT.lsame(transa,'C')) .AND.
      +    (.NOT.lsame(transa,'T'))) THEN
           info = 1
       ELSE IF ((.NOT.notb) .AND. (.NOT.lsame(transb,'C')) .AND.
      +         (.NOT.lsame(transb,'T'))) THEN
           info = 2
       ELSE IF (m.LT.0) THEN
           info = 3
       ELSE IF (n.LT.0) THEN
           info = 4
       ELSE IF (k.LT.0) THEN
           info = 5
       ELSE IF (lda.LT.max(1,nrowa)) THEN
           info = 8
       ELSE IF (ldb.LT.max(1,nrowb)) THEN
           info = 10
       ELSE IF (ldc.LT.max(1,m)) THEN
           info = 13
       END IF
       IF (info.NE.0) THEN
           CALL xerbla('SGEMM ',info)
           RETURN
       END IF
 *
 *     Quick return if possible.
 *
       IF ((m.EQ.0) .OR. (n.EQ.0) .OR.
      +    (((alpha.EQ.zero).OR. (k.EQ.0)).AND. (beta.EQ.one))) RETURN
 *
 *     And if  alpha.eq.zero.
 *
       IF (alpha.EQ.zero) THEN
           IF (beta.EQ.zero) THEN
               DO 20 j = 1,n
                   DO 10 i = 1,m
                       c(i,j) = zero
    10             CONTINUE
    20         CONTINUE
           ELSE
               DO 40 j = 1,n
                   DO 30 i = 1,m
                       c(i,j) = beta*c(i,j)
    30             CONTINUE
    40         CONTINUE
           END IF
           RETURN
       END IF
 *
 *     Start the operations.
 *
       IF (notb) THEN
           IF (nota) THEN
 *
 *           Form  C := alpha*A*B + beta*C.
 *
               DO 90 j = 1,n
                   IF (beta.EQ.zero) THEN
                       DO 50 i = 1,m
                           c(i,j) = zero
    50                 CONTINUE
                   ELSE IF (beta.NE.one) THEN
                       DO 60 i = 1,m
                           c(i,j) = beta*c(i,j)
    60                 CONTINUE
                   END IF
                   DO 80 l = 1,k
                       temp = alpha*b(l,j)
                       DO 70 i = 1,m
                           c(i,j) = c(i,j) + temp*a(i,l)
    70                 CONTINUE
    80             CONTINUE
    90         CONTINUE
           ELSE
 *
 *           Form  C := alpha*A**T*B + beta*C
 *
               DO 120 j = 1,n
                   DO 110 i = 1,m
                       temp = zero
                       DO 100 l = 1,k
                           temp = temp + a(l,i)*b(l,j)
   100                 CONTINUE
                       IF (beta.EQ.zero) THEN
                           c(i,j) = alpha*temp
                       ELSE
                           c(i,j) = alpha*temp + beta*c(i,j)
                       END IF
   110             CONTINUE
   120         CONTINUE
           END IF
       ELSE
           IF (nota) THEN
 *
 *           Form  C := alpha*A*B**T + beta*C
 *
               DO 170 j = 1,n
                   IF (beta.EQ.zero) THEN
                       DO 130 i = 1,m
                           c(i,j) = zero
   130                 CONTINUE
                   ELSE IF (beta.NE.one) THEN
                       DO 140 i = 1,m
                           c(i,j) = beta*c(i,j)
   140                 CONTINUE
                   END IF
                   DO 160 l = 1,k
                       temp = alpha*b(j,l)
                       DO 150 i = 1,m
                           c(i,j) = c(i,j) + temp*a(i,l)
   150                 CONTINUE
   160             CONTINUE
   170         CONTINUE
           ELSE
 *
 *           Form  C := alpha*A**T*B**T + beta*C
 *
               DO 200 j = 1,n
                   DO 190 i = 1,m
                       temp = zero
                       DO 180 l = 1,k
                           temp = temp + a(l,i)*b(j,l)
   180                 CONTINUE
                       IF (beta.EQ.zero) THEN
                           c(i,j) = alpha*temp
                       ELSE
                           c(i,j) = alpha*temp + beta*c(i,j)
                       END IF
   190             CONTINUE
   200         CONTINUE
           END IF
       END IF
 *
       RETURN
 *
 *     End of SGEMM .
 *

 SGEMV  performs one of the matrix-vector operations

    y := alpha*A*x + beta*y,   or   y := alpha*A**T*x + beta*y,

 where alpha and beta are scalars, x and y are vectors and A is an
 m by n matrix.

源码： 

 *
 *  -- Reference BLAS level2 routine (version 3.7.0) --
 *  -- Reference BLAS is a software package provided by Univ. of Tennessee,    --
 *  -- Univ. of California Berkeley, Univ. of Colorado Denver and NAG Ltd..--
 *     December 2016
 *
 *     .. Scalar Arguments ..
       REAL ALPHA,BETA
       INTEGER INCX,INCY,LDA,M,N
       CHARACTER TRANS
 *     ..
 *     .. Array Arguments ..
       REAL A(LDA,*),X(*),Y(*)
 *     ..
 *
 *  =====================================================================
 *
 *     .. Parameters ..
       REAL ONE,ZERO
       parameter(one=1.0e+0,zero=0.0e+0)
 *     ..
 *     .. Local Scalars ..
       REAL TEMP
       INTEGER I,INFO,IX,IY,J,JX,JY,KX,KY,LENX,LENY
 *     ..
 *     .. External Functions ..
       LOGICAL LSAME
       EXTERNAL lsame
 *     ..
 *     .. External Subroutines ..
       EXTERNAL xerbla
 *     ..
 *     .. Intrinsic Functions ..
       INTRINSIC max
 *     ..
 *
 *     Test the input parameters.
 *
       info = 0
       IF (.NOT.lsame(trans,'N') .AND. .NOT.lsame(trans,'T') .AND.
      +    .NOT.lsame(trans,'C')) THEN
           info = 1
       ELSE IF (m.LT.0) THEN
           info = 2
       ELSE IF (n.LT.0) THEN
           info = 3
       ELSE IF (lda.LT.max(1,m)) THEN
           info = 6
       ELSE IF (incx.EQ.0) THEN
           info = 8
       ELSE IF (incy.EQ.0) THEN
           info = 11
       END IF
       IF (info.NE.0) THEN
           CALL xerbla('SGEMV ',info)
           RETURN
       END IF
 *
 *     Quick return if possible.
 *
       IF ((m.EQ.0) .OR. (n.EQ.0) .OR.
      +    ((alpha.EQ.zero).AND. (beta.EQ.one))) RETURN
 *
 *     Set  LENX  and  LENY, the lengths of the vectors x and y, and set
 *     up the start points in  X  and  Y.
 *
       IF (lsame(trans,'N')) THEN
           lenx = n
           leny = m
       ELSE
           lenx = m
           leny = n
       END IF
       IF (incx.GT.0) THEN
           kx = 1
       ELSE
           kx = 1 - (lenx-1)*incx
       END IF
       IF (incy.GT.0) THEN
           ky = 1
       ELSE
           ky = 1 - (leny-1)*incy
       END IF
 *
 *     Start the operations. In this version the elements of A are
 *     accessed sequentially with one pass through A.
 *
 *     First form  y := beta*y.
 *
       IF (beta.NE.one) THEN
           IF (incy.EQ.1) THEN
               IF (beta.EQ.zero) THEN
                   DO 10 i = 1,leny
                       y(i) = zero
    10             CONTINUE
               ELSE
                   DO 20 i = 1,leny
                       y(i) = beta*y(i)
    20             CONTINUE
               END IF
           ELSE
               iy = ky
               IF (beta.EQ.zero) THEN
                   DO 30 i = 1,leny
                       y(iy) = zero
                       iy = iy + incy
    30             CONTINUE
               ELSE
                   DO 40 i = 1,leny
                       y(iy) = beta*y(iy)
                       iy = iy + incy
    40             CONTINUE
               END IF
           END IF
       END IF
       IF (alpha.EQ.zero) RETURN
       IF (lsame(trans,'N')) THEN
 *
 *        Form  y := alpha*A*x + y.
 *
           jx = kx
           IF (incy.EQ.1) THEN
               DO 60 j = 1,n
                   temp = alpha*x(jx)
                   DO 50 i = 1,m
                       y(i) = y(i) + temp*a(i,j)
    50             CONTINUE
                   jx = jx + incx
    60         CONTINUE
           ELSE
               DO 80 j = 1,n
                   temp = alpha*x(jx)
                   iy = ky
                   DO 70 i = 1,m
                       y(iy) = y(iy) + temp*a(i,j)
                       iy = iy + incy
    70             CONTINUE
                   jx = jx + incx
    80         CONTINUE
           END IF
       ELSE
 *
 *        Form  y := alpha*A**T*x + y.
 *
           jy = ky
           IF (incx.EQ.1) THEN
               DO 100 j = 1,n
                   temp = zero
                   DO 90 i = 1,m
                       temp = temp + a(i,j)*x(i)
    90             CONTINUE
                   y(jy) = y(jy) + alpha*temp
                   jy = jy + incy
   100         CONTINUE
           ELSE
               DO 120 j = 1,n
                   temp = zero
                   ix = kx
                   DO 110 i = 1,m
                       temp = temp + a(i,j)*x(ix)
                       ix = ix + incx
   110             CONTINUE
                   y(jy) = y(jy) + alpha*temp
                   jy = jy + incy
   120         CONTINUE
           END IF
       END IF
 *
       RETURN
 *
 *     End of SGEMV .
 *

 

 

 

参考文献

  1. Basic Linear Algebra Subprograms-WikiPeia
  2. Dongarra J J, Croz J D, Hammarling S, et al. A set of level 3 basic linear algebra subprograms[J]. Acm Transactions on Mathematical Software, 1990, 16(1):1-17.
  3. Why gemm is at the heart of deep learning
  4. sgemm 官方文档
  5. https://www.jianshu.com/p/1dd118f431eb
a flying bird
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习BLAS库 -- GEMV
cocoonyang的专栏
02-12 5682
函数语法: XGEMV( TRANS, M, N, ALPHA, A, LDA, X, INCX, BETA, Y, INCY)功能： matrix vector multiply BLAS level 2 functionC语言版(f2c)DGEMV源代码：/* -- translated by f2c (version 19940927). You must lin...
BLAS库中level3的GEMM简单计算优化
wusy的博客
07-15 2085
最近由于工作需要，研究了GEMM算子的简单优化。在这里做一个简单的记录，方便以后的查阅。目前，开源的BLAS库已经有很多的，例如OpenBLAS，BLIS等。而可以发现，这些开源的计算库，大多是根据之前GotoBLAS库的优化方法基础上进一步开发的。而GotoBLAS的优化主要是基于论文"BLISlab: A Sandbox for Optimizing GEMM"进行的。本文主要对这篇论文进行分析理解，希望对大家有所帮助。
BLAS库---SGEMM
qq_31785865的博客
11-21 5310
GEMM是一个通用矩阵乘法。通过修改函数参数能够实现任意矩阵的相乘。在BLAS下能够通过底层操作实现算法的加速。如果是Eigen的话，需要考虑colmajor和rowmajor（也就是矩阵元素存放的顺序） 函数语法:     SGEMM( TRANSA,  TRANSB,  M,  N,  K,  ALPHA,  A, LDA, B, LDB, BETA, C, LDC)  功能： mat...
【架构分析】GPU执行GEMM矩阵运算实例演示
最新发布
HaoBBNuanMM的博客
06-09 484
Cutlass是 NVIDIA 提供的一套用于高效实现矩阵乘法和卷积操作的 C++ 库。它以 CUDA 为基础，提供了高度优化的数学运算，尤其适用于GPU上的高性能并行计算。本文以GEMM矩阵运算作为实例，展示Cutlass在GPU上执行GEMM运算的过程。
什么是GEMM
xfysq_的博客
04-19 609
GEMM
GEMM vs GEMV
qq_30006593的博客
09-16 3275
gemm gemv 比较 tensorflow的实现
前所未有的详细总结 BLAS（一）：GEMM Routine（零）
E2MCC的博客
09-03 1394
GEMM
blas中dgemm_的用法
weixin_30367945的博客
06-15 1070
blas中函数参数实在是太多，想要愉快的使用最好还是封装下 一个矩阵相乘dgemm_函数就要13个参数....... fortran中是按列存储的矩阵，而c++中是按行存储的，虽然与cblas可以选择按什么方式存储，但就是不想用 /******************/ //a 4行2列 //b 2行3列 //c 4行3列 /******************/ ...
TensorFlow-GPU版本，载入模型时报错：Blas GEMM。。解决办法
weixin_42414119的博客
12-28 4691
如果安装了GPU版本的TensorFlow，使用其进行模型的载入时，遇到报错，类似下面这种： InternalError: Blas GEMM launch failed : a.shape=(10000, 784), b.shape=(784, 10), m=10000, n=10, k=784 [[node MatMul (defined at <ipython-input-2-03...
cublas_benchmarks：一些测试gemm和gemv性能的基准
02-17
在CUDA编程环境中，CuBLAS（CUDA BLAS）是一个由NVIDIA提供的库，它利用GPU的强大计算能力来加速线性代数操作，如通用矩阵乘法（GEMM）和通用向量乘法（GEMV）。这些操作是许多科学计算、机器学习和深度学习算法的...
C语言版本的BLAS线性代数数学库软件源代码，安装这个之前要先安装BLAS库！.
12-14
2. **Level 2**：处理矩阵和向量之间的运算，如矩阵-向量乘法（Gemv）。 3. **Level 3**：包含矩阵-矩阵的乘法（Gemm），这是许多高级线性代数算法的基础。 **安装CBLAS前的准备：BLAS库** 在安装CBLAS之前，首先...
ndarray-blas-gemv:用于 ndarray 的 BLAS Level 2 GEMV（矩阵向量乘法）
06-06
ndarray-blas-gemv 用于BLAS Level 2 GEMV（矩阵向量乘法） 用法 gemv( alpha, A, x, beta, y ) 为标量 alpha、矩阵 A、向量 x、标量 beta 和向量 y 计算y <- alpha * A * x + beta * y y。 结果在向量 y 中被覆盖。 所有其他输入不变。 例子 var gemv = require ( 'ndarray-blas-gemv' ) var A = ndarray ( [ 1 , 2 , 5 , 3 ] , [ 2 , 2 ] ) , x = ndarray ( [ - 4 , 7 ] ) , y = ndarray ( [ 3 , - 2 ] ) gemv ( - 4 , A , x , 2 , y ) // Result: y = [-34, -8] 要使用 A 的
Go-GonumBLAS是一个包集合为Go语言提供 BLAS 功能
08-14
级别3的BLAS操作主要处理矩阵-矩阵的运算，包括矩阵乘法（Gemm）、矩阵-向量乘法（Gemv）的推广以及矩阵的乘法和加法（Gemm和GemmAdd）。这些高级函数在进行快速傅里叶变换（FFT）或计算特征值和特征向量时扮演关键...
基本线性代数子程序 （BLAS） 的 C 代码， 使用双精度复数算术.rar
11-12
- **Level 2**: 包含矩阵-向量和向量-矩阵操作，如矩阵列向量乘法（Gemv）和矩阵-向量乘法（Ger）。 - **Level 3**: 包含矩阵-矩阵操作，如矩阵乘法（Gemm）。 **3. C语言实现** 在C语言中实现BLAS，需要理解并实现...
C 代码 构成 3 级基本线性代数子程序 （BLAS） 对于矩阵-矩阵运算， 使用双精度实数算术.rar
05-27
2. **BLAS 2**: 主要处理向量和矩阵的乘法，例如：矩阵-向量乘法（Gemv）和向量的转置乘法（Ger）。 3. **BLAS 3**: 关注矩阵-矩阵的乘法（Gemm），这是许多线性代数算法的核心，如高斯消元、LU分解和QR分解等。 ...
BLAS dgemm矩阵乘法的用法小注
weixin_33896069的博客
05-09 538
BLASdgemm矩阵乘法的用法小注 Posted on04月 5, 2010byxuanmanstein http://xuanmanstein.wordpress.com/2010/04/05/blas-dgemm%E7%9F%A9%E9%98%B5%E4%B9%98%E6%B3%95%E7%9A%84%E7%94%A8%E6%B3%95%E5%B0%8F%E6%B3%A8/ ...
19.cuBLAS开发指南中文版--cuBLAS中的Level-2函数gemv()
专注于人工智能领域的小何尚
08-13 585
其中 A 是以列优先格式存储的 m*n 矩阵，x 和 y 是向量，该函数可能返回的错误值及其含义如下所列。此函数执行矩阵向量乘法。
MKL 函数cblas_?gemm参数分析
u013806541的博客
04-03 3606
参考链接：https://software.intel.com/en-us/node/520775 函数原型： void cblas_sgemm (const CBLAS_LAYOUT Layout, const CBLAS_TRANSPOSE transa, constCBLAS_TRANSPOSE transb, const MKL_INT m, const MKL_INT n, cons
GEMM算法及优化流程详解
热门推荐
独行侠
02-16 2万+
前言 神经网络前向耗时主要由卷积的耗时决定，参考賈杨青毕业论文，那么如何对卷积加速便成了重要的一个点，主流的加速方法有 以下几种： im2col+GEMM：目前几乎所有的主流计算框架包括 Caffe, MXNet 等都实现了该方法. 该方法把整个卷积过程转化成了GEMM过程，而GEMM在各种 BLAS 库中都是被极致优化的，一般来说，速度较快。 Winograd： Winograd 是存在...
Blas GEMM launch failed
04-03
As an AI language model, I do not have access to your system or the context of your question, so I can only provide a general answer. Blas GEMM stands for Basic Linear Algebra Subprograms General Matrix-Matrix multiplication, which is a common operation in linear algebra and machine learning. If you are encountering a "Blas GEMM launch failed" error, it could mean that there is an issue with your system's BLAS library or that the input matrices are not compatible for the operation. To troubleshoot the issue, you can try the following: 1. Check that your system has a BLAS library installed and that it is up to date. 2. Verify that the input matrices have the correct dimensions for matrix multiplication, i.e., the number of columns in the first matrix must match the number of rows in the second matrix. 3. Check for any memory issues or conflicts that may be preventing the operation from launching. 4. Consult the documentation or support forums for the specific software or library you are using for additional guidance on troubleshooting the error. In general, the "Blas GEMM launch failed" error can be caused by a variety of factors, so it may require some experimentation and investigation to pinpoint the exact issue.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值