【CS231n】八、深度学习软硬件介绍

课程内容提炼：

CPU 和 GPU 硬件知识

深度学习框架：

Caffe / Caffe2

Theano / TensorFlow

Torch / PyTorch

1、CPU & GPU

总结来说就是，（众所周知）GPU适合做深度学习。

GPU，主要用NVIDIA。

GPU深度学习库，NVIDIA独占  CUDA（cuDNN）。OpenCL， 支持多种硬件，AMD给出了OpenCL转CUDA的编译器。

2、Deep Learning Framework

有趣的现象是，前沿的应用研究从高校转向工业界。

深度学习框架的意义：

（1）使搭建大型计算图更容易；

（2）使计算图的梯度（BP算法）更简单；

（3）能在GPU上更高效的运行（wrap cuDNN, cuBLAS, etc）

3、举例说明

这些框架都是python的库，通常搭配使用。

（1）Numpy

问题：没有计算梯度的函数，要自行编写。 只能run on CPU。

（2）TensorFlow

（3）PyTorch