[深度学习]深度学习框架总结

原创 2017年04月16日 11:53:11

深度学习库比较

库名 主语言 从语言 速度 灵活性 文档 适合模型 平台 上手难易 开发者 模式
Tensorflo C++ cuda/python/Matlab/Ruby/R 中等 中等 CNN/RNN Linux,OSX Google 分布式/声明式
Caffe C++ cuda/python/Matlab 一般 全面 CNN 所有系统 中等 贾杨清 声明式
PyTorc python C/C++ 中等 中等 - 中等 FaceBook
MXNet c++ cuda/R/julia 全面 CNN 所有系统 中等 李沐和陈天奇等 分布式/声明式/命令式
Torch lua C/cuda 全面 CNN/RNN Linux,OSX 中等 Facebook 命令式
Theano python c++/cuda 中等 中等 CNN/RNN Linux, OSX 蒙特利尔理工学院 命令式

1.TensorFlow 的优点是:

它有一个直观的结构 ,顾名思义它有 “张量流”,你可以轻松地可视每个图中的每一个部分。
轻松地在 cpu / gpu 上进行分布式计算
平台的灵活性 。可以随时随地运行模型,无论是在移动端、服务器还是 PC 上。

1.1 TensorFlow 的限制

尽管 TensorFlow 是强大的,它仍然是一个低水平库,例如,它可以被认为是机器级语言,但对于大多数功能,您需要自己去模块化和高级接口,如 keras
它仍然在继续开发和维护,这是多么��啊!
它取决于你的硬件规格,配置越高越好
不是所有变成语言能使用它的 API 。
TensorFlow 中仍然有很多库需要手动导入,比如 OpenCL 支持。
上面提到的大多数是在 TensorFlow 开发人员的愿景,他们已经制定了一个路线图,计划库未来应该如何开发

1.2 ensorFlow工作流程

建立一个计算图, 任何的数学运算可以使用 TensorFlow 支撑。
初始化变量, 编译预先定义的变量
创建 session, 这是神奇的开始的地方 !
在 session 中运行图, 编译图形被传递到 session ,它开始执行它。
关闭 session, 结束这次使用。

1.3 入门教程

TensorFlow入门一-小石头的码疯窝
TensorFlow之深入理解Neural Style
TensorFlow之深入理解AlexNet-小石头的码疯窝
TensoFlow之深入理解GoogLeNet-小石头的码疯窝
TensorFlow之深入理解VGG\Residual Network
TensorFlow之深入理解Fast Neural Style
风格画之最后一弹MRF-CNN-小石头的码疯窝
深度学习之Neural Image Caption

2.Caffe

Caffe57是纯粹的C++/CUDA架构,支持命令行、Python和MATLAB接口;可以在CPU和GPU173直接无缝切换:

Caffe::set_mode(Caffe::GPU);

2.1 Caffe的优势

1.上手快:模型与相应优化都是以文本形式而非代码形式给出。
2.Caffe给出了模型的定义、最优化设置以及预训练的权重,方便立即上手。
3.速度快:能够运行最棒的模型与海量的数据。
4.Caffe与cuDNN结合使用,测试AlexNet模型,在K40上处理每张图片只需要1.17ms.
5.模块化:方便扩展到新的任务和设置上。
6.可以使用Caffe提供的各层类型来定义自己的模型。
7.开放性:公开的代码和参考模型用于再现。
8.社区好:可以通过BSD-2参与开发与讨论。

2.2 Caffe 架构

此处输入图片的描述

2.2.1 预处理图像的leveldb构建

输入:一批图像和label23)
输出:leveldb (4)
指令里包含如下信息:
conver_imageset (构建leveldb的可运行程序)
train/ (此目录放处理的jpg或者其他格式的图像)
label.txt (图像文件名及其label信息)
输出的leveldb文件夹的名字
CPU/GPU (指定是在cpu上还是在gpu上运行code)

2.2.2 CNN网络配置文件

Imagenet_solver.prototxt (包含全局参数的配置的文件)
Imagenet.prototxt (包含训练网络的配置的文件)
Imagenet_val.prototxt (包含测试网络的配置文件)

2.3 教程

Caffe教程系列之安装配置
Caffe教程系列之LeNet训练
Caffe教程系列之元素篇
Caffe教程系列之Proto元素
Caffe教程系列之LMDB

3.pytorch框架

pytorch,语法类似numpy,非常高效;基于pytorch开发深度学习算法,方便快速,适合cpu和gpu计算。pytorch支持动态构建神经网络结构,从而可以提升挽留过结构的重用性。

这是一个基于Python的科学计算包,其旨在服务两类场合:
1.替代numpy发挥GPU潜能
2.一个提供了高度灵活性和效率的深度学习实验性平台

3.1 PyTorch优势

1.运行在 GPU 或 CPU 之上、基础的张量操作库,
2.内置的神经网络库
3.模型训练功能
3.支持共享内存的多进程并发(multiprocessing )库。PyTorch开发团队表示:这对数据载入和 hogwild 训练十分有帮助。
4.PyTorch 的首要优势是,它处于机器学习第一大语言 Python 的生态圈之中,使得开发者能接入广大的 Python 库和软件。因此,Python 开发者能够用他们熟悉的风格写代码,而不需要针对外部 C 语言或 C++ 库的 wrapper,使用它的专门语言。雷锋网(公众号:雷锋网)获知,现有的工具包可以与 PyTorch 一起运行,比如 NumPy、SciPy 和 Cython(为了速度把 Python 编译成 C 语言)。
4.PyTorch 还为改进现有的神经网络,提供了更快速的方法——不需要从头重新构建整个网络

3.2 PyTorch工具包

1.torch :类似  NumPy 的张量库,强 GPU 支持 
2.torch.autograd  :基于 tape 的自动区别库,支持 torch 之中的所有可区分张量运行。
3.torch.nn :为最大化灵活性未涉及、与 autograd 深度整合的神经网络库
4.torch.optim:与 torch.nn 一起使用的优化包,包含 SGD, RMSProp, LBFGS, Adam 等标准优化方式
5.torch.multiprocessing: python 多进程并发,进程之间 torch Tensors 的内存共享。
6.torch.utils:数据载入器。具有训练器和其他便利功能。 Trainer and other utility functions for convenience    
7.torch.legacy(.nn/.optim) :处于向后兼容性考虑,从 Torch 移植来的 legacy 代码。

3.3 教程

PyTorch深度学习:60分钟入门(Translation)

4 MXNet框架

4.1 优缺点

4.1.1 优点

1.速度快省显存。在复现一个caffe 
2.支持多语言
3.分布式

4.1.2 缺点

1. API文档差。这个问题很多人也提过了,很多时候要看源码才能确定一个函数具体是做什么的,看API描述有时候并不靠谱,因为文档有点过时。
2. 缺乏完善的自定义教程。比如写data iter的时候,train和validation的data shape必须一致,这是我当时找了半天的一个bug。
3.代码小bug有点多。mxnet的大神们开发速度确实是快,但是有的layer真的是有bug,暑假我们就修了不少。 

4.2 MXNet架构

此处输入图片的描述

从上到下分别为各种主语言的嵌入,编程接口(矩阵运算,符号表达式,分布式通讯),两种编程模式的统一系统实现,以及各硬件的支持。接下一章我们将介绍编程接口,然后下一章介绍系统实现。之后我们给出一些实验对比结果,以及讨论MXNet的未来。

##4.2 MXNet编程接口

1.Symbol : 声明式的符号表达式
2.NDArray :命令式的张量计算
3.KVStore :多设备间的数据交互
4.读入数据模块
5.训练模块

##4.3 MXNet教程
安装GPU版mxnet并跑一个MNIST手写数字识别
用MXnet实战深度学习之二:Neural art

#5. Torch框架
##5.1 Torch诞生

Torch诞生已经有十年之久,但是真正起势得益于去年Facebook开源了大量Torch的深度学习模块和扩展。Torch另外一个特殊之处是采用了不怎么流行的编程语言Lua(该语言曾被用来开发视频游戏)。

5.2 Torch优缺点

5.2.1 优点

1)Facebook力推的深度学习框架,主要开发语言是C和Lua
2)有较好的灵活性和速度
3)它实现并且优化了基本的计算单元,使用者可以很简单地在此基础上实现自己的算法,不用浪费精力在计算优化上面。核心的计算单元使用C或者cuda做了很好的优化。在此基础之上,使用lua构建了常见的模型
4)速度最快,见convnet-benchmarks
5)支持全面的卷积操作:
        时间卷积:输入长度可变,而TF和Theano都不支持,对NLP非常有用;
         3D卷积:Theano支持,TF不支持,对视频识别很有用

5.2.2 缺点

1)是接口为lua语言,需要一点时间来学习。
2)没有Python接口
3)与Caffe一样,基于层的网络结构,其扩展性不好,对于新增加的层,需要自己实现(forward, backward and gradient update)

5.3 Torch教程

MXNet教程
深度学习笔记(二)用Torch实现线性回归

6. Theano框架

6.2 Theano优缺点

6.2.1 优点

1)2008年诞生于蒙特利尔理工学院,主要开发语言是Python
2)Theano派生出了大量深度学习Python软件包,最著名的包括Blocks和Keras
3)Theano的最大特点是非常的灵活,适合做学术研究的实验,且对递归网络和语言建模有较好的支持
4)是第一个使用符号张量图描述模型的架构
5)支持更多的平台
6)在其上有可用的高级工具:Blocks, Keras等

6.2.2 缺点

1)编译过程慢,但同样采用符号张量图的TF无此问题
2)import theano也很慢,它导入时有很多事要做
3)作为开发者,很难进行改进,因为code base是Python,而C/CUDA代码被打包在Python字符串中

6.3 Theano教程

Theano 官方中文教程(翻译)(三)——多层感知机(MLP)
Theano官方中文教程(翻译)(四)—— 卷积神经网络(CNN)

版权声明:本文为博主原创文章,未经博主允许不得转载。

《Tensorflow:实战Google深度学习框架》高清完整PDF版

  • 2017年06月16日 20:43
  • 96.7MB
  • 下载

tensorflow13《TensorFlow实战Google深度学习框架》笔记-06-02mnist LeNet5卷积神经网络 code

01 LeNet5卷积神经网络前向传播# 《TensorFlow实战Google深度学习框架》06 图像识别与卷积神经网络 # win10 Tensorflow1.0.1 python3.5.3 # ...
  • longji
  • longji
  • 2017年04月10日 15:10
  • 2216

主流深度学习框架对比

深度学习研究的热潮持续高涨,各种开源深度学习框架也层出不穷,其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4...
  • u012017783
  • u012017783
  • 2017年02月20日 20:20
  • 8342

深度学习领域开源框架对比

Preface 这周的例会的演讲人之一是我,我一周前就开始想讲这周要讲什么。感觉以前组里面的人讲的内容太偏重那些公式什么的。大家听的昏昏欲睡,所以我想不能讲那些太细节太公式化的东西。 最近不少人问我哪...
  • u012905422
  • u012905422
  • 2016年09月10日 22:20
  • 7051

DeepLearning tutorial(6)易用的深度学习框架Keras简介

之前我一直在使用Theano,前面五篇Deeplearning相关的文章也是学习Theano的一些笔记,当时已经觉得Theano用起来略显麻烦,有时想实现一个新的结构,就要花很多时间去编程,所以想过将...
  • u012162613
  • u012162613
  • 2015年04月30日 17:03
  • 48687

TensorFlow实战Google深度学习框架(一)

第一章  深度学习简介 1.    人工有时候无法很好的抽取实体中的特征,那么是否有自动的方式?是的,深度学习解决的核心问题之一就是自动的将简单的特征合成更加复杂的特征,使用这些组合特征解决问题。 2...
  • zhujianing1993
  • zhujianing1993
  • 2017年04月03日 02:45
  • 2937

tensorflow14《TensorFlow实战Google深度学习框架》笔记-06-03 迁移学习 code

# 《TensorFlow实战Google深度学习框架》06 图像识别与卷积神经网络 # win10 Tensorflow1.0.1 python3.5.3 # CUDA v8.0 cudnn-8.0...
  • longji
  • longji
  • 2017年04月10日 15:12
  • 2446

tensorflow13《TensorFlow实战Google深度学习框架》笔记-06-02mnist LeNet5卷积神经网络 code

01 LeNet5卷积神经网络前向传播# 《TensorFlow实战Google深度学习框架》06 图像识别与卷积神经网络 # win10 Tensorflow1.0.1 python3.5.3 # ...
  • longji
  • longji
  • 2017年04月10日 15:10
  • 2216

深度学习框架技术解析及caffe实战总结

  • 2017年12月29日 19:02
  • 2.52MB
  • 下载

Tensorflow实战Google深度学习框架

  • 2017年12月19日 11:09
  • 96.59MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[深度学习]深度学习框架总结
举报原因:
原因补充:

(最多只允许输入30个字)