深度学习系统软件

一、高性能计算库

高性能计算库通常是针对特定的硬件架构和计算任务进行了优化和调优的软件库。这些库的目的是充分发挥硬件的性能潜力，提高计算效率和吞吐量。这些库可能针对特定的智能芯片架构，如GPU、TPU或者其他专用加速器。它们通常由硬件供应商或第三方开发团队开发，并通过专家手动调优以提高性能和效率。
这些高性能计算库通常包括优化的数学运算、矩阵操作、神经网络层次、图像处理等功能，以满足特定应用领域的需求。通过使用这些优化过的库，开发者可以更容易地利用智能芯片的强大计算能力，加速其应用程序的执行速度，从而实现更快的计算和更高的性能。

1 cuBLAS

cuBLAS（CUDA Basic Linear Algebra Subroutines）是英伟达为其GPU提供的针对线性代数运算特别是矩阵乘法运算的加速库。它为开发者提供了高度优化的基本线性代数函数，如矩阵乘法、矩阵-向量乘法等，以利用GPU并行计算的能力，加速线性代数运算。cuBLAS的优化能够充分发挥GPU的并行性，为高性能计算和深度学习等领域的应用提供了强大的支持。

2 cuDNN

cuDNN（CUDA Deep Neural Network）是英伟达专门为深度神经网络设计的高性能加速库。它提供了一系列针对深度学习任务的优化函数和算法，包括卷积神经网络（CNN）中的卷积操作、池化操作、归一化操作等，以及循环神经网络（RNN）中的循环操作等。cuDNN的目标是通过利用GPU的并行计算能力，加速深度神经网络的训练和推理过程，为深度学习模型的实现和部署提供高效的计算支持。

3 TensorRT

TensorRT（Tensor RunTime）是英伟达专注于深度学习推理应用的高性能推理引擎。它通过全局的静态图优化和运行时优化，提供了极致的低延时和高吞吐的推理性能。TensorRT的设计旨在最大程度地利用GPU的并行计算能力和深度学习模型的结构特点，以实现推理过程的高效执行。
相比于cuDNN等深度学习库，TensorRT更加注重推理性能的优化，牺牲了一定的用户接口灵活性。它采用了全局的静态图优化技术，在模型加载和推理过程中进行一系列的优化操作，包括张量融合、内存优化、算法选择等，以提高推理性能和效率。这种全局的优化策略可以在编译时进行，并且可以根据具体的硬件平台和推理需求进行调整，从而实现最佳的性能表现。
TensorRT的主要优势在于其提供了极致的低延时和高吞吐的推理性能，适用于对推理延时和吞吐量有严格要求的应用场景，如实时视频分析、自动驾驶、人脸识别等。虽然TensorRT相对于一些深度学习库而言在用户接口的灵活性上稍有牺牲，但其性能优势使其成为许多深度学习应用中的首选推理引擎之一。

4 oneMKL

oneMKL（OneAPI Math Kernel Library）是英特尔推出的数学核心库，旨在为数据科学、数值分析和机器学习等领域的应用提供高性能的数学函数和基本线性代数子程序（BLAS）。它是英特尔为其OneAPI跨架构编程模型开发的一部分，致力于为各种硬件平台（包括CPU、GPU和FPGA）提供统一的数学函数接口。
oneMKL集成了一系列针对性能优化的数学函数和BLAS子程序，如向量加法、矩阵乘法、矩阵分解等，以及一些特定领域的优化函数，如信号处理、图像处理和机器学习算法等。它通过利用硬件特定的指令集和并行计算技术，实现了对各种硬件平台的优化，并提供了高效的数学计算能力。
oneMKL的优势之一是其跨多种硬件平台的可移植性和统一的编程接口，使开发者能够在不同的硬件架构上轻松地编写和运行高性能的数学计算代码。它还与英特尔的其他软件工具和编程模型（如DPC++）紧密集成，为开发者提供了更加全面的编程和优化工具链，帮助他们充分发挥硬件平台的性能潜力。

二、编程语言

 1 CUDA

CUDA语言并不是一种独立的编程语言，而是一种由NVIDIA推出的用于并行计算的计算平台和编程模型。CUDA C/C++是一种基于C/C++语言的编程模型，用于在NVIDIA GPU上进行并行计算。
CUDA C/C++扩展了C/C++语言，引入了一些新的关键字和语法，使得程序员可以利用GPU的并行计算能力。主要的特点包括：

（1）.Kernel函数：CUDA C/C++通过定义特殊的Kernel函数来在GPU上执行并行计算。这些Kernel函数可以在多个线程之间并行执行，从而利用GPU的大量并行处理单元。
（2）.线程层次：CUDA C/C++允许程序员精细地控制并行计算的线程层次。程序员可以定义线程块（block）和线程网格（grid），并通过特殊的语法来指定线程之间的关系。
（3）.内存管理：CUDA C/C++提供了特殊的内存管理机制，包括全局内存、共享内存和常量内存等。程序员可以显式地管理内存的分配和释放，并利用共享内存来优化数据访问模式。
（4）.CUDA运行时和驱动API：CUDA C/C++可以使用CUDA运行时API或者驱动API来与GPU进行交互。运行时API提供了一组高级的函数来管理GPU设备和内存，而驱动API提供了更底层的访问接口，允许程序员直接与GPU驱动程序交互。

2 BANG语言

BANG语言是由寒武纪公司设计用于在其智能处理器（Machine Learning Unit，MLU）上编写程序的一种编程语言。

1：BANG语言支持常用的C99和C++11语言的语法特性，这使得熟悉这两种语言的开发者更容易上手。
2：BANG语言提供了针对MLU上的张量指令的intrinsic接口，包括卷积运算（bang_conv）、全连接运算（__bang_mlp）、张量访存指令（_memcpy）和同步指令（_sync）等。
3：为了支持MLU上的存储层次，BANG语言提供了对神经元存储（NRAM）、权值存储（WRAM）、共享存储（SRAM）、本地存储（LDRAM）和全局存储（GDRAM）的描述能力。
4：BANG语言遵循单指令多数据（Single Instruction, Multiple Data，SIMD）编程模型，大部分指令以向量甚至张量为基本单位完成运算。
5：为了表示MLU上的多核结构，BANG语言添加了对任务规模（taskDim）的描述，用于进行多核间的任务划分。