深度学习框架的比较(MXNet, Caffe, TensorFlow, Torch, Theano)

from:http://blog.csdn.net/myarrow/article/details/52064608

1. 基本概念

1.1 MXNet相关概念

    深度学习目标:如何方便的表述神经网络,以及如何快速训练得到模型

    CNN(卷积层):表达空间相关性(学表示)

    RNN/LSTM:表达时间连续性(建模时序信号)
    命令式编程(imperative programming):嵌入的较浅,其中每个语句都按原来的意思执行,如numpy和Torch就是属于这种

    声明式语言(declarative programing):嵌入的很深,提供一整套针对具体应用的迷你语言。即用户只需要声明要做什么,而具体执行则由系统完成。这类系统包括Caffe,Theano和TensorFlow。命令式编程显然更容易懂一些,更直观一些,但是声明式的更利于做优化,以及更利于做自动求导,所以都保留。  

 浅嵌入,命令式编程深嵌入,声明式编程
如何执行a=b+1需要b已经被赋值。立即执行加法,将结果保存在a中。返回对应的计算图(computation graph),我们可以之后对b进行赋值,然后再执行加法运算
优点语义上容易理解,灵活,可以精确控制行为。通常可以无缝的和主语言交互,方便的利用主语言的各类算法,工具包,bug和性能调试器。在真正开始计算的时候已经拿到了整个计算图,所以我们可以做一系列优化来提升性能。实现辅助函数也容易,例如对任何计算图都提供forward和backward函数,对计算图进行可视化,将图保存到硬盘和从硬盘读取。
缺点实现统一的辅助函数和提供整体优化都很困难。很多主语言的特性都用不上。某些在主语言中实现简单,但在这里却经常麻烦,例如if-else语句 。debug也不容易,例如监视一个复杂的计算图中的某个节点的中间结果并不简单。
    目前现有的系统大部分都采用上两种编程模式的一种。与它们不同的是,MXNet尝试将两种模式无缝的结合起来。在命令式编程上MXNet提供张量运算,而声明式编程中MXNet支持符号表达式。用户可以自由的混合它们来快速实现自己的想法。例如我们可以用声明式编程来描述神经网络,并利用系统提供的自动求导来训练模型。另一方便,模型的迭代训练和更新模型法则中可能涉及大量的控制逻辑,因此我们可以用命令式编程来实现。同时我们用它来进行方便的调式和与主语言交互数据。

1.2 深度学习的关键特点

      (1)层级抽象

      (2)端到端学习

2. 比较表

比较项CaffeTorchTheanoTensorFlowMXNet
主语言C++/cudaC++/Lua/cudaPython/c++/cudaC++/cudaC++/cuda
从语言Python/Matlab--PythonPython/R/Julia/Go
硬件CPU/GPUCPU/GPU/FPGACPU/GPUCPU/GPU/MobileCPU/GPU/Mobile
分布式NNNY(未开源)Y
速度中等中等
灵活性一般
文档全面全面中等中等全面
适合模型CNNCNN/RNNCNN/RNNCNN/RNNCNN/RNN?
操作系统所有系统Linux, OSX所有系统Linux, OSX所有系统
命令式NYNNY
声明式YNYYY
接口protobufLuaPythonC++/PythonPython/R/Julia/Go
网络结构分层方法分层方法符号张量图符号张量图?

注:1)使用符号张量图描述模型,增加新的层更加方便;而分层方法增加新的层需要自己实现(forward,backward和gradient更新函数)。

3.详细描述

3.1 MXNet

   MXNet的系统架构如下图所示:

 

    从上到下分别为各种主语言的嵌入,编程接口(矩阵运算,符号表达式,分布式通讯),两种编程模式的统一系统实现,以及各硬件的支持。

    MXNet的设计细节包括:符号执行和自动求导;运行依赖引擎;内存节省。

3.2 Caffe    

    优点:

    1)第一个主流的工业级深度学习工具。
    2)它开始于2013年底,由UC Berkely的Yangqing Jia老师编写和维护的具有出色的卷积神经网络实现。在计算机视觉领域Caffe依然是最流行的工具包。

    3)专精于图像处理

    缺点:    

    1)它有很多扩展,但是由于一些遗留的架构问题,不够灵活且对递归网络和语言建模的支持很差。

    2)基于层的网络结构,其扩展性不好,对于新增加的层,需要自己实现(forward, backward and gradient update)

3.3 TensorFlow

   优点:

   1) Google开源的其第二代深度学习技术——被使用在Google搜索、图像识别以及邮箱的深度学习框架。

   2)是一个理想的RNN(递归神经网络)API和实现,TensorFlow使用了向量运算的符号图方法,使得新网络的指定变得相当容易,支持快速开发。

   3)TF支持使用ARM/NEON指令实现model decoding

   4)TensorBoard是一个非常好用的网络结构可视化工具,对于分析训练网络非常有用

   5)编译过程比Theano快,它简单地把符号张量操作映射到已经编译好的函数调用

   缺点:

   1) 缺点是速度慢,内存占用较大。(比如相对于Torch)

   2)支持的层没有Torch和Theano丰富,特别是没有时间序列的卷积,且卷积也不支持动态输入尺寸,这些功能在NLP中非常有用。

    

   

3.4 Torch

    优点:    

    1)Facebook力推的深度学习框架,主要开发语言是C和Lua

    2)有较好的灵活性和速度
    3)它实现并且优化了基本的计算单元,使用者可以很简单地在此基础上实现自己的算法,不用浪费精力在计算优化上面。核心的计算单元使用C或者cuda做了很好的优化。在此基础之上,使用lua构建了常见的模型

    4)速度最快,见convnet-benchmarks

    5)支持全面的卷积操作:

          - 时间卷积:输入长度可变,而TF和Theano都不支持,对NLP非常有用;

          - 3D卷积:Theano支持,TF不支持,对视频识别很有用
    缺点

    1)是接口为lua语言,需要一点时间来学习。

    2)没有Python接口

    3)与Caffe一样,基于层的网络结构,其扩展性不好,对于新增加的层,需要自己实现(forward, backward and gradient update)

    4)RNN没有官方支持

3.5 Theano

    优点:

    1)2008年诞生于蒙特利尔理工学院,主要开发语言是Python

    2)Theano派生出了大量深度学习Python软件包,最著名的包括Blocks和Keras

    3)Theano的最大特点是非常的灵活,适合做学术研究的实验,且对递归网络和语言建模有较好的支持

    4)是第一个使用符号张量图描述模型的架构

    5)支持更多的平台

    6)在其上有可用的高级工具:Blocks, Keras等

    缺点:

   1)编译过程慢,但同样采用符号张量图的TF无此问题

   2)import theano也很慢,它导入时有很多事要做

   3)作为开发者,很难进行改进,因为code base是Python,而C/CUDA代码被打包在Python字符串中

参考资料:

1)MXNet设计和实现简介

2)Evaluation of Deep Learning Toolkits

3)TensorFlow vs. Theano vs. Torch comparison


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值