04 - 编程框架使用

一、深度学习编程框架的概念

1. 为什么需要编程框架？

算法理论复杂，代码实现工作量大，有必要将算法中的常用操作封装成组件提供给程序员，以提高深度学习算法开发效率。而深度学习算法具有多层结构，每层运算由基本操作构成，基本操作中存在大量共性运算，如卷积、池化、激活等，将这些共性运算操作封装起来，可以提高编程实现效率。面向这些封装起来的操作，硬件程序员可以基于硬件特征，有针对性的进行充分优化，使其能充分发挥硬件的效率。深度学习框架是为了在加速器和集群上高效训练深度神经网络而设计的可编程系统。

深度学习框架需要同时兼顾以下三大互相制约的设计目标：
（1）可编程性：使用易用的编程接口，用高层次语义描述出各类主流深度学习模型的计算过程和训练算法。
（2）性能：为可复用的处理单元提供高效实现；支持多设备、分布式计算。
（3）可扩展性：降低新模型的开发成本。在添加新硬件支持时，降低增加计算原语和进行计算优化的开发成本。

2. 深度学习框架发展历程

（1）早期：提高实验室中研究和验证神经网络新算法的实验效率，Cuda-convnet，Theano，Distbelief 为代表的深度学习框架先驱。
（2）第一代：以一组连续堆叠的层表示深度神经网络模型，一层同时注册前向计算和梯度计算，出现了以 Caf