CUDA
大多数人会把CUDA当成一种语言或者是一种API,其实并不是。
CUDA是一个并行计算平台(parallel computing platform)和编程模型(programming model),它使得使用GPU进行通用计算变得简单和优雅。
cuDNN
cuDNN:CUDA Deep Neural Network library
cuDNN是一个用于深度神经网络的图形处理器加速的原语库。cuDNN为标准例程(例如前向和后向卷积、池化、规范化和激活层)提供了高度调优的实现。
CUDA Toolkit
CUDA Toolkit
TensorRT
TensorRT:用于生产部署的高性能深度学习推理优化器和运行时。
在推理过程中,基于tensorrt的应用程序的执行速度比仅使用cpu的平台快40倍。