BLAS、OpenBLAS、ATLAS、MKL

已于 2022-02-11 17:34:51 修改
阅读量6.5k 收藏 25
点赞数 10
文章标签： BLAS MKL OpenBLAS
于 2022-02-11 17:31:08 首次发布
原文链接：https://blog.csdn.net/qq_31347869/article/details/91488168
版权

BLAS

BLAS的全称是Basic Linear Algebra Subprograms，中文可以叫做基础线性代数子程序。它定义了一组应用程序接口（API）标准，是一系列初级操作的规范，如向量之间的乘法、矩阵之间的乘法等。许多数值计算软件库都实现了这一核心。

BALS是用Fortran语言开发的，Netlib实现了BLAS的这些API接口，得到的库也叫做BLAS。Netlib只是一般性地实现了基本功能，并没有对运算做过多的优化。

LAPACK

LAPACK （linear algebra package），是著名的线性代数库，也是Netlib用fortran语言编写的。其底层是BLAS，在此基础上定义了很多矩阵和向量高级运算的函数，如矩阵分解、求逆和求奇异值等。该库的运行效率比BLAS库高。
从某个角度讲，LAPACK也可以称作是一组科学计算（矩阵运算）的接口规范。Netlib实现了这一组规范的功能，得到的这个库叫做LAPACK库。

Linear Algebra Package，线性代数包，底层使用BLAS，使用Fortran语言编写。在BLAS的基础上定义很多矩阵和向量高级运算的函数，如矩阵分解、求逆和求奇异值等。该库的运行效率比BLAS库高。为了进行C语言的开发，开发了CBLAS和CLAPACK。

CBALS & CLAPACK

前面BLAS和LAPACK的实现均是用的Fortran语言。为了方便c程序的调用，Netlib开发了CBLAS和CLAPACK。其本质是在BLAS和LAPACK的基础上，增加了c的调用方式。

ATLAS

上面提到，可以将BLAS和LAPACK看做是接口规范，那么其他的组织、个人和公司，就可以根据此规范，实现自己的科学计算库。

开源社区实现的科学计算（矩阵计算）库中，比较著名的两个就是atlas和openblas。它们都实现了BLAS的全部功能，以及LAPACK的部分功能，并且他们都对计算过程进行了优化。

Atlas （Automatically Tuned Linear Algebra Software）能根据硬件，在运行时，自动调整运行参数。

Automatically Tuned Linear Algebra Software，自动化调节线性代数软件。可以根据硬件，在运行时，自动调整运行参数。

OpenBLAS

Openblas在编译时根据目标硬件进行优化，生成运行效率很高的程序或者库。Openblas的优化是在编译时进行的，所以其运行效率一般比atlas要高。但这也决定了openblas对硬件依赖性高，换了机器，可能就要重新编译了。（例如A和B两台机器cpu架构、指令集不一样，操作系统一样，在A下编译的openblas库，在B下无法运行，会出现“非法指令”这样的错误）

Intel MKL

英特尔数学核心函数库，Intel Math Kernel Library

Intel的MKL和AMD的ACML都是在BLAS的基础上，针对自己特定的CPU平台进行针对性的优化加速。以及NVIDIA针对GPU开发的cuBLAS。

商业公司对BLAS和LAPACK的实现，有Intel的MKL和AMD的ACML。他们对自己的cpu架构，进行了相关计算过程的优化，实现算法效率也很高。
NVIDIA针对其GPU，也推出了cuBLAS，用以在GPU上做矩阵运行。

在这里插入图片描述

对于机器学习的很多问题来说，计算的瓶颈往往在于大规模以及频繁的矩阵运算，主要在于以下两方面：

  • (Dense/Sparse) Matrix – Vector product    (稠密/稀疏)矩阵 - 向量 产品
  • (Dense/Sparse) Matrix – Dense Matrix product  

如何使机器学习算法运行更高效摆在我们面前，很多人都会在代码中直接采用一个比较成熟的矩阵运算数学库，面对繁多的数学库，选择一个合适的库往往会令人头疼，这既跟你的运算环境有关，也跟你的运算需求有关，不是每个库都能完胜的。

这篇文章的主要目的就是比较几个常见的BLAS库的矩阵运算性能，分别是

  1. EIGEN : Eigen 是一个线性算术的C++模板库。功能强大、快速、优雅以及支持多平台，可以使用该库来方便处理一些矩阵的操作，达到类似matlab那样的快捷。 需要定义 EIGEN_NO_DEBUG 阻止运行时assertion。编译单线程版本需要开启 -DEIGEN_DONT_PARALLELIZE. 在试验中，我们采用 EIGEN 原生 BLAS 实现。
  2. Intel MKL : 英特尔数学核心函数库是一套经过高度优化和广泛线程化的数学例程，专为需要极致性能的科学、工程及金融等领域的应用而设计。它可以为当前及下一代英特尔处理器提供性能优化，包括更出色地与 Microsoft Visual Studio、Eclipse和XCode相集成。英特尔 MKL 支持完全集成英特尔兼容性 OpenMP 运行时库，以实现更出色的 Windows/Linux 跨平台兼容性。在试验中的多线程版本需要链接到 mkl_gnu_thread，而不是 mkl_intel_thread，单线程版本需要链接到 mkl_sequential_thread。
  3. OpenBLAS: OpenBLAS是高性能多核BLAS库，是GotoBLAS2 1.13 BSD版本的衍生版。OpenBLAS 的编译依赖系统环境，并且没有原生单线程版本，在实验这哦那个，通过设置 OMP_NUM_THREADS=1 来模拟单线程版本，可能会带来一点点的性能下降。

每个测试程序的编译都采用 ”-O4 -msse2 -msse3 -msse4″， 通过设置 OMP_NUM_THREADS 来控制程序使用的线程数量. 除了 OpenBLAS，其他两个库的测试程序都分别有单线程和多线程的编译版本。

  • 单线程版本

我在实验中进行了一系列的非稀疏矩阵相乘运算，矩阵规模也逐渐增大，单线程的运行时间如下表所示，其中采用的测试轮数为5轮，其中红色表示性能最好的一组实验结果。

Matrix-DimensionEigenMKLOpenBLAS
5000.041590.031220.03058
10000.317890.243390.23730
15001.045890.814450.79869
20002.375671.920361.87102
25004.682663.785693.64548
30008.280736.426306.29797
350013.0747010.250969.98417
400019.3455015.2193114.87500
450027.5276721.4502421.18227
500037.67552 29.3163129.07229

从图中可以看出，OpenBLAS的性能最好，MKL的表现也很不错，而EIGEN的表现却很糟糕。

  • 多线程版本

在多线程的测试中，我们采用多个CPU核心来做矩阵乘法运算，所有的结果也同样采用5轮训练，我们采用的CPU核数分别是8，16，32，48。

  • Cores = 8
Matrix-DimensionEigenMKLOpenBLAS
10000.056580.039550.06468
20000.349810.262000.23879
30001.207810.854490.80737
40002.654901.902731.88366
50005.033043.730053.67966
60008.786546.527666.31980
700013.5561110.1375810.07120
800019.8163415.0353014.89440
900029.1132921.5435921.26992
1000039.0156329.9307529.22034

  • Cores = 16
Matrix-DimensionEigenMKLOpenBLAS
10000.057080.021850.03897
20000.266940.138070.30461
30000.706860.436920.93511
40001.451290.977202.06761
50002.594771.906652.49280
60005.434383.309457.01299
70008.011245.178966.84496
800011.222807.8143912.99240
900015.1562511.0890621.82488
1000019.9115115.2203930.86908

  • Cores = 32
Matrix-DimensionEigenMKLOpenBLAS
10000.040030.027920.02244
20000.512130.143630.16990 
30001.136470.511050.54635
40001.587931.102191.26401
50002.883412.079232.48735
60005.927793.427854.26794
70007.916505.321766.69391
800011.964677.653959.98951
900017.4542010.2832814.14108
1000023.3131415.1007719.34171

  • Cores = 40
Matrix-DimensionEigenMKLOpenBLAS
10000.036910.028770.01779
20000.377390.140370.13655 
30000.611830.410570.44113
40002.436701.026251.01414
50003.180991.910921.97898
60008.240022.961573.40685
700011.598894.683125.38634
80009.506136.984347.95971
900014.830669.6089111.37585
1000023.6718715.5215115.52680

  • Cores = 48
Matrix-DimensionEigenMKLOpenBLAS
10000.036350.023980.01548
20000.364170.134080.11496 
30002.323880.392910.36669
40002.320301.132440.85790
50002.082691.758121.66785
60008.707662.986942.85609
70008.235434.623404.53257
800021.186036.688866.72820
900019.865049.596359.50597
1000016.1092013.1303813.04432

可以看出，MKL和OpenBLAS都提供了比较好的性能，MKL性能还更好一点，在各别多线程条件下了，可能某些原因或者我机器设置的问题，出现了各别性能异常，比如小矩阵运算时间反倒比大矩阵运算长，或者更多的线程却不能提供更好的性能。这些情况后面可能还需要查一查。

  • 伸缩性

另外，我也测试了使用不同的cpu核数对性能的影响，下面两个图描述了把cpu从1增加到20的条件下，5000×5000的矩阵相乘的时间开销和加速比。

  • 结论

就我的测试环境而言，Intel MKL 和 OpenBLAS 似乎是矩阵相乘运算方面性能最佳的 BLAS 库，在多核以及不同规模的矩阵方面都具有较好的伸展性和稳定性，而对于单线程情况，OpenBLAS相比 MKL 在性能上有一定提升。

顺其自然~
关注
  • 10
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
pytorch底层矩阵运算：How to check if PyTorch or Numpy is using OpenBLAS or MKL? &线性代数库BLAS(cblas_gemm示例)
科研学习笔记！
08-14 403
检测pytorch使用哪种线性代数运算库（矩阵或矢量间线性代数）; BLAS, MKL, OpenBLAS及cblas_gemm矩阵运算代码.
OpenBLAS学习一：源码架构解析&GEMM分析
frank2679的专栏
01-28 5230
1. 什么是OpenBLAS 1.1. BLAS 1.2. 功能 1.3. 使用 1.3.1. 编译 1.3.2. 调用 1.3.3. 定制化 2. OpenBLAS实现 2.1. TOP_DIR 2.2. 软件层次 2.3. Interface层 2.4. driver层 2.5. kernel层 2.6. 测试 3. OpenBLAS的特点 4. 疑问 5. 附录1 reference 6. 附录2 背景概念 6.1. SMT & HT 6.2. SMP 1. 什么是.
【OpenBLAS】BLAS、LAPACK、ATLAS、OpenBLAS区别
小小小草儿的博客哟
07-25 5260
1.BLAS Basic Linear Algebra Subprograms，基础线性代数子程序。定义了一组API，可以进行向量之间乘法、矩阵之间的乘法等。使用Fortran语言开发的。 2.LAPACK Linear Algebra Package，线性代数包，底层使用BLAS，使用Fortran语言编写。在BLAS的基础上定义很多矩阵和向量高级运算的函数，如矩阵分解、求逆和求奇异值等。...
OpenBLAS-0.2.20-android.zip
10-17
编译成功的OpenBLAS-0.2.20库文件及头文件，可以在android下使用。
【小记】BLAS、OpenBLAS、ATLAS、MKL
学习 & 分享 ~
06-12 6672
BLAS BLAS的全称是Basic Linear Algebra Subprograms，中文可以叫做基础线性代数子程序。它定义了一组应用程序接口（API）标准，是一系列初级操作的规范，如向量之间的乘法、矩阵之间的乘法等。许多数值计算软件库都实现了这一核心。 BALS是用Fortran语言开发的，Netlib实现了BLAS的这些API接口，得到的库也叫做BLAS。Netlib只是一般性地实现了基...
Windows下利用MKL加速caffe，与openblas比较
12-04 495
一、介绍：先简单Mark一下网上的介绍资料，弄清楚MKL是个啥，已经与openblas等的关系。 矩阵运算库blas, cblas, openblas, atlas, lapack, mkl之间有什么关系，在性能上区别大吗？ 摘自：https://www.zhihu.com/question/27872849 比较OpenBLAS，Intel MKL和Eigen的矩阵相乘性能...
OpenBLAS学习一：源码架构解析&GEMM分析-爱代码爱编程
四哥的专栏
04-10 1324
BLAS (basic linear algebra subprogram) 是线性数学的基本计算，包括标量，矢量，矩阵之间的计算，分别称为Level1~3的操作。由于level3的操作复杂度较高，于是产生了针对不同平台做优化的BLAS实现，包括 AMD Core Math Library (ACML), Arm Performance Libraries, ATLAS, Intel Math Kernel Library (MKL), 及我们要介绍的 OpenBLAS。
OpenBLAS
最新发布
jasonhongcn的专栏
04-25 294
此外，OpenBLAS还针对特定CPU进行了优化，例如针对龙芯3A CPU的优化工作，显著提高了BLAS 3级函数的性能。OpenBLAS是BLAS标准的一种具体实现，致力于提供快速、可移植且多线程的BLAS实现，以满足大规模科学计算和数据分析的需求。这使得OpenBLAS不仅仅是一个基本的数学库，而是一个完整的解决方案，能够处理从简单到复杂的线性代数任务。总的来说，OpenBLAS是一个高性能的线性代数计算库，适用于各种科学计算和数据分析任务，特别是那些需要大规模并行处理的任务。
如何判断pytorch用的是OpenBLAS还是MKL
05-30
在默认情况下，PyTorch会使用MKL作为其后端线性代数库，但也可以通过安装OpenBLAS来替代MKL。如果你想要确定PyTorch当前使用的是哪个库，可以按照以下步骤： 1. 打开Python交互式环境 2. 导入PyTorch ``` ...
OpenBlas资源
03-21
此外，有些深度学习框架可能默认使用其他BLAS实现，如ATLAS或MKL，用户可能需要修改配置文件来切换到OpenBLAS。 总的来说，OpenBLAS是一个强大且可靠的工具，对于需要进行大量数值计算的项目，特别是深度学习，它能...
openblas-0.3.19-1.5.7-API文档-中文版.zip
07-06
赠送jar包：openblas-0.3.19-1.5.7.jar； 赠送原API文档：openblas-0.3.19-1.5.7-javadoc.jar； 赠送源代码：openblas-0.3.19-1.5.7-sources.jar； 赠送Maven依赖信息文件：openblas-0.3.19-1.5.7.pom； 包含翻译后的API文档：openblas-0.3.19-1.5.7-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.bytedeco:openblas:0.3.19-1.5.7； 标签：bytedeco、openblas、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
64位openblas
01-26
可以加速深度学习中卷积计算，如果说openmp可以加速两倍，openblas可以加速3倍。
基础篇 | 15 C++ 科学计算 - OpenBLAS的安装与使用
热门推荐
LorneNote
06-02 2万+
BLAS简介 类似于Anaconda里面的numpy，C++里面也有类似的矩阵运算库，称之为BLAS（Basic Linear Algebra Subprograms）：基础线性代数子程序库。 支持的数据类型有： 单精度浮点数（float） 双精度浮点数（double） 单精度负数 双精度负数 在机器学习里面一般我们只用float类型，很少使用double，考虑到性能，我们认为float...
openblas
浩瀚之水的专栏
10-28 1232
1. install sudo apt-get install libopenblas-dev 首先可以apt search openblas 看看哪些，然后apt安装 安装完看装在哪里 whereis libopenblas, 我的是在 /usr/lib 源码安装 git clone https://github.com/xianyi/OpenBLAS...
BLAS线性代数库(OpenBLAS)
hxxjxw的博客
08-02 1406
OpenBLAS是一个开源的线性代数库，高效实现了BLAS(Basic Linear Algebra Subprograms)和LAPACK(Linear Algebra PACKage)接口定义的函数
Comparision between several algebra libraries
Proteus
07-04 872
比较OpenBLAS，Intel MKL和Eigen的矩阵相乘性能 发表于2014-03-14         对于机器学习的很多问题来说，计算的瓶颈往往在于大规模以及频繁的矩阵运算，主要在于以下两方面： (Dense/Sparse) Matrix – Vector product (Dense/Sparse) Matrix – Dense Matrix product
OpenBlas 安装
朝花夕拾
08-19 1万+
OpenBLAS是BLAS（Basic Linear Algebra Subprograms）的优化版。 OpenBLAS官网：http://www.openblas.net/ OpenBLAS公开课：https://www.leiphone.com/news/201704/Puevv3ZWxn0heoEv.html OpenBLAS用户手册：https://github.com/xianyi/O...
OpenBLAS: 高性能数值计算的开源库
gitblog_00057的博客
03-14 490
OpenBLAS: 高性能数值计算的开源库 OpenBLASOpenBLAS is an optimized BLAS library based on GotoBLAS2 1.13 BSD version. 项目地址:https://gitcode.com/gh_mirrors/op/OpenBLAS 是一个高性能的开源 BLAS（基础线性代数子程序）和 LAPACK（线性代数包）实现，适用于...
openblas使用
hohoyu的专栏
08-22 723
1、复制cblas.h、openblas_config.h、libopenblas.lib到项目文件夹，与源代码同文件夹；4、在该程序的属性中按如下添加lib和h所在的文件夹为附加库目录。2、复制libopenblas.dll到debug文件夹；5、按下图将上述lib文件添加为附加依赖项。6、在代码中添加对cblas.h的引用即可。3、在项目头文件下导入上述两个.h文件；
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值