CUDA矩阵运算之cuBLAS库的常用函数

前言

对于矩阵运算，我们使用GPU会更加快速，因为GPU可以并行计算，在使用CUDA的时候，编写核函数会有点麻烦，于是，有一个cuBLAS库可以使用，上面包含了一些基本的矩阵运算函数。

根据文档，可以看到一些关于cuBLAS的函数，以下是根据文档第二章加上自己的理解所编写的一些函数的简介目录。

为了方面及时查看有哪些库可以使用，我就写下这篇博客，如果有错误，谢谢大家的指出！

Chapter 2 CUBLAS by example

2.1 示例的一般说明

所有子程序都有四个版本对应的四种数据类型

• s, S: float
• d, D: double
• c, C: cuComplex
• z, Z: cuDoubleComplex

2.2 CUBLAS level-1. 标量-向量的基本操作

2.2.1 cublasIsamax, cublasIsamin

此函数查找具有最大/最小幅度的数组元素的最小索引。

2.2.3 cublasSasum

绝对值之和

2.2.5 cublasSaxpy

计算αx + y，向量x乘上标量α加上向量y

2.2.7 cublasScopy

把x拷贝到y上，向量操作。

2.2.9 cublasSdot

点积: 计算向量 x 和 y 的点积
$$x\cdot y=x_0{y}_0+...+x_{n-1}{y}_{n-1}$$

2.2.11 cublasSnrm2

计算向量x的欧几里得范数：
$$||x||=\sqrt{{|x_0|}^2+...+{|x_{n-1}|}^2}$$

2.2.13 cublasSrot

apply the Givens rotation

2.2.19 cublasSscal

缩放向量：
$$x=\alpha x$$

2.2.21 cublasSswap

交换两个向量：
$$x\leftarrow y,y\leftarrow x$$

2.3 CUBLAS Level-2. 矩阵-向量操作

2.3.1 cublasSgbmv

This function performs the banded matrix-vector multiplication:
$$y=\alpha op(A)x+\beta y$$

2.3.3 cublasSgemv

矩阵-向量乘法：
$$y=\alpha op(A)x+\beta y$$

2.3.5 cublasSger

rank-1 update: 列向量和行向量相乘得到矩阵，然后加上一个矩阵：
$$A=\alpha x{y}^T+AorA=\alpha x{y}^H+A$$
x和y都是向量，α是标量

2.3.7 cublasSsbmv

对称带状矩阵-向量乘法：
$$y=\alpha Ax+By$$
A是对称带状矩阵，x和y是向量，

2.3.9 cublasSspmv

对称压缩矩阵-向量乘法：
$$y=\alpha Ax+By$$

2.3.11 cublasSspr

对称压缩矩阵rank-1：
$$A=\alpha x{x}^T+A$$

2.3.13 cublasSspr2

对称压缩矩阵rank-2：
$$A=\alpha (x{y}^T+y{x}^T)+A$$

2.3.15 cublasSsymv

对称矩阵向量乘法：
$$y=\alpha Ax+\beta y$$

2.3.17 cublasSsyr

对称矩阵rank-1：
$$A=\alpha x{x}^T+A$$

2.3.19 cublasSsyr2

对称矩阵rank-2：
$$A=\alpha (x{y}^T+y{x}^T)+A$$

2.3.21 cublasStbmv

三角带状矩阵-向量乘法：
$$x=op(A)x$$

2.3.23 cublasStbsv

求解三角带状线性系统：
$$op(A)x=b$$
求出x

2.3.25 cublasStpmv

三角压缩矩阵-向量乘法：
$$x=op(A)x$$

2.3.27 cublasStpsv

求解三角压缩矩阵：
$$op(A)x=b$$
求出x

2.3.29 cublasStrmv

三角矩阵-向量乘法：
$$x=op(A)x$$

2.3.31 cublasStrsv

求解三角矩阵-向量：
$$op(A)x=b$$
求x

2.3.33 cublasChemv

Hermitian 矩阵-向量乘法：
$$y=\alpha Ax+\beta y$$

2.3.35 cublasChbmv

Hermitian 带状矩阵-向量乘法：
$$y=\alpha Ax+\beta y$$

2.3.37 cublasChpmv

Hermitian 压缩矩阵-向量乘法：
$$y=\alpha Ax+\beta y$$

2.3.39 cublasCher

Hermitian 矩阵rank-1：
$$A=\alpha x{x}^H+A$$

2.3.41 cublasCher2

Hermitian 矩阵rank-2：
$$A=\alpha x{y}^H+\bar{\alpha }y{x}^H+A$$

2.3.43 cublasChpr

压缩Hermitian 矩阵rank-1：
$$A=\alpha x{x}^H+A$$

2.3.45 cublasChpr2

压缩Hermitian 矩阵rank-2：
$$A=\alpha x{y}^H+\bar{\alpha }y{x}^H+A$$

2.4 CUBLAS Level-3. 矩阵-矩阵操作

2.4.1 cublasSgemm

矩阵乘法：
$$C=\alpha op(A)op(B)+\beta C$$

2.4.3 cublasSsymm

对称矩阵-矩阵乘法：
$$C=\alpha AB+\beta C①$$

$$C=\alpha BA+\beta C②$$

两种情况都可以的

2.4.5 cublasSsyrk

对称rank-k：
$$C=\alpha op(A)op(A{)}^T+\beta C$$

2.4.7 cublasSsyr2k

对称rank-2k：
$$C=\alpha (op(A)op(B{)}^T+op(B)op(A{)}^T)+\beta C$$

2.4.9 cublasStrmm

三角矩阵-矩阵乘法：
$$C=\alpha op(A)B①$$

$$C=\alpha Bop(A)②$$

2.4.11 cublasStrsm

求解三角矩阵：
$$op(A)X=\alpha B①$$

$$Xop(A)=\alpha B②$$

2.4.13 cublasChemm

Hermitian 矩阵-矩阵乘法：
$$C=\alpha AB+\beta C①$$

$$C=\alpha BA+\beta C②$$

2.4.15 cublasCherk

Hermitian rank-k：
$$C=\alpha op(A)op(A{)}^H+\beta C$$

2.4.17 cublasCherk2k

Hermitian rank-2k：
$$C=\alpha op(A)op(B{)}^H+\bar{\alpha }op(B)op(A{)}^H+\beta C$$