跨平台Caffe及I/O模型与并行方案（一）

原文地址：http://blog.csdn.net/solomon1558/article/details/52273843
摘要
Caffe(Convolutional Architecture for Fast Feature Embedding)是一个清晰，模块化，速度快的深度学习框架。“跨平台Caffe及I/O模型与并行方案”系列文章针对Caffe依赖包繁杂，可移植性差的缺点，介绍一种采用第三方库的跨平台Caffe方案，该方案通具有量身裁剪，安装快速，跨Windows/Linux平台等优点。系列文章还分析了深度学习系统的可并行性，研究了Caffe的多线程IO系统与单机多GPU并行方案，调研了目前主流的大规模分布式深度学习系统。针对Caffe源生并行方案同步延迟时间长，不支持多机多GPU并行训练等缺点，提出了采用参数服务器（Parameter
Server）的分布式训练方案改进方案。
1.引言
Caffe(Convolutional Architecture for FastFeature Embedding)是由伯克利视觉和学习中心（Berkeley Vision and LearningCenter，BVLC）开发的基于C++/CUDA/Python实现的深度学习开源框架，它具有表达性强，速度快，社区成熟等优势，是深度学习研究领域非常受欢迎的一个框架。如图1-1所示，Caffe的总体框架由Blob,Layer, Net, Solver构成。Blob是基础的数据结构，是用来保存学习到的参数以及网络传输过程中产生数据的类；Layer是网络的基本单元，由此派生出了各种层类。修改这部分的人主要是研究特征表达方向的；Net是网络的搭建，将Layer所派生出层类组合成网络。Solver是Net的求解，修改这部分人主要会是研究DL求解方向的。

图 1-1 Caffe的整体框架图
深度学习框架发展迅速，Facebook AI实验室的Torch，分布式机器学习社区(DMLC) 发布的MxNet，Google推出的第二代人工智能学习系统TensorFlow等，微软推出的深度学习框架CNTK(ComputationalNetwork ToolKit)等框架层出不穷。每种框架实现是都会关注某些方面，而忽视了另一方面，Caffe框架在发展的过程中暴露了如下缺点：
（1）不支持任意数据类型
Caffe大部分数据结构（如Blob、Layer、Net、Solver及其派生类）都是模板类，通过实例化模板参数来支持多种数据类型。事实上，Caffe只支持float和double两种类型网络。此外，Caffe创建网络时一旦使用某种类型，整个网络中各层就都是相同的类型，限制了同一个网络中多种不同数据类型支持的需求。
（2）不够灵活的高级接口
Caffe支持3种高级接口：命令行、Python和Matlab，三者在功能上几乎雷同，定义一个模型仍需要用ProtoBuf文件描述，然后调用Net构造函数创建网络。
（3）繁杂的依赖包
Caffe依赖包过于繁杂，不利于快速安装部署。同时，大量的依赖包使得移植到其他平台（如windows、嵌入式平台）变得困难且不经济。
（4）网络架构缺陷
深度学习新网络架构、新方法层出不穷，Caffe在支持这些新特性时由于历史包袱，动作变得迟缓。不利因素如下[1]：
· 使用C++设计并实现新的Layer，而模型定义仍需要用ProtoBuf描述，二者必须手动实现匹配。
· 新增一个层，需要手动实现forward、backward、gradientupdate三种算法。
· 只支持单机多卡并行计算，不支持多机多卡分布式计算。
· 只支持数据级别并行，不支持模型级别并行。
针对Caffe框架依赖包繁杂的缺点，本文介绍了一种采用第三方库的跨平台方案。该方案首先抽取、裁剪必要的第三方库，针对不同平台（windows/Linux）预先编译好库；然后移除简单的库，重写并融入到工程中；对于冗余的库则直接移除。针对深度学习并行训练加速问题，本文首先分析了深度学习系统的可并行性，研究了Caffe框架的多线程IO系统和单机多卡数据并行方案。针对Caffe框架源生并行方案的不足，通过调研发现参数服务器（ParameterServer）方案是解决大规模分布式深度学习的有力武器，进而提出移除Caffe源生并行方案，采用参数服务器的分布式Caffe框架。
本文通过原理探究与框架分析相结合的方式，介绍了Caffe的移植方法，揭示了多线程IO系统和Caffe源生并行方案。这些工作对于今后的Caffe移植、分布式并行Caffe扩展等非常有帮助，具有实际意义。
第2章主要涉及跨平台Caffe的设计，第3章分析了Caffe的多线程IO系统,第4章分析了Café的并行方案，第5章介绍了参数服务器在大规模深度学习系统的应用，第6章对全文进行总结。
Reference
[1] 主流深度学习工具评估,https://github.com/zer0n/deepframeworks