TensorFlow培训

1. 主流深度学习框架对比

2. 版本介绍

3. TensorFlow 1.0 变化

<1> 速度提升：更快的速度，引入了XLA编译器，最高提升58倍训练速度

<2> 改进了在移动设备上的运行：也是通过XLA使 TensorFlow 在移动设备上运行

<3> 引入更高级别API，增强灵活性和兼容性

<4> 强化Python API，更适用于生产环境

<5> 引入了TF调试器（TF Debuger）

<6> 加入实验性的Java API 、Go API

<7> 支持与 Python 3 兼容的 Docker 镜像，引入 TensorFlow Serving 服务

<8> 生态融合

<9> 更多模型

一、TF简介和现状

1. 主流深度学习框架对比

2. 版本介绍

Google 第一代分布式机器学习框架DistBelief  未开源

Google 第二代分布式机器学习框架Tensorflow 2015年11月开源 (v0.5)

2017年1月发布1.0版本，API接口趋于稳定。

3. TensorFlow 1.0 重大变化

<1> 速度提升：更快的速度，引入了XLA编译器，最高提升58倍训练速度

XLA 全称 Accelerated Linear Algebra，意为加速线性代数，是一个针对 TensorFlow 中线性代数运算的试验性质编译器。

XLA主要包括两种使用方式：JIT(Just in time)即时编译和AOT(Ahead of time)静态提前编译

大体意思就是将重复用到的一些代码提前编译为机器码，节省运行时间，提高运行效率。

目前， XLA 只支持英伟达 GPU，但这与当下机器学习应用对 GPU 支持的现状是一致的。

TensorFlow 1.0 相比于 0.12版本：

运行 Inception v3模型，

8GPU硬件下，1.0版比0.12版本快7.3倍

分布式64GPU情况下，1.0版比0.12版本快58倍

详细情况：  https://www.tensorflow.org/performance/xla

<2> 改进了在移动设备上的运行：也是通过XLA使 TensorFlow 在移动设备上运行

TensorFlow的工程师已经缩减了它的整体内存占用和 APP 的存储空间占用。这些优化对各类硬件运行环境都有好处，但对于移动平台尤其重要。此前的 TensorFlow 版本已经加入了对安卓、iOS 和 Raspberry Pi 硬件平台的支持，使得 TensorFlow 能在这类设备上处理诸如图像分类之类的任务。

创造出能在普通智能手机上运行的机器学习模型，而无需 24 小时每时每刻的云端支持，将会孵化出一系列新型应用。这是 TensorFlow 1.0 的野心之一。

TF1.0引入了新版的安卓Demo。包含物体识别、图像标记应用。

<3> 引入更高级别API，增强灵活性和兼容性

Tensorflow架构

核心是C++写的，所以装tensorflow的时候需要得有c++的库。接口是python这块最完善。

底层是运行引擎，XLA就是在运行引擎这块，运行引擎可以运行在CPU上、GPU上、Android上、IOS上。然后往上核心是C++写的，然后使用Python的接口，1.0以后加了对go和java的接口，不过这两种目前还是试验性的，不具备可部署性。最全的还是python这块的接口。加入更高级别的API主要是指的Layers以及往上的这些层。1.0以后才有的。加上这些层之后，使得我们可以编写更少量的代码来实现神经网络。

<4> 强化Python API，更适用于生产环境

意思就是增强了API的稳定性，版本升级后大部分代码兼容，更适用于生产环境部署。不会像swift那样，出了4.0，3.0用不了。就是不兼容。

TensorFlow在Google内部项目应用的增长也十分迅速：在Google多个产品都有应用如：Gmail，Google Play Recommendation， Search， Translate， Map等等；有将近100多project和paper使用TensorFlow做相关工作.

DeepMind（就是Alpha Go）去年把框架全部迁移到Tensorflow上去。

<5> 引入了TF调试器（TF Debuger）

TensorFlow Debugger (tfdbg) 帮助开发者更好的调试

<6> 加入实验性的Java API 、Go API

引入了对Java和Go语言的API，但支持不全，最全的还是Python API

<7> 支持与 Python 3 兼容的 Docker 镜像，引入 TensorFlow Serving 服务

Tensorflow Serving是一个部署服务，这个服务跟谷歌云联系比较紧密，比如你把模型都训练完了，你可以通过 TensorFlow Serving 一键部署到谷歌云上。

<8> 生态融合

TensorFlow支持以下多种技术的协作和底层存储。跟下面这些框架做了融合，不是说跑在上面。

<9> 更多模型

TF 引入更多的模型，原来在主仓库的模型现在迁移到新的单独的仓库了：  https://github.com/tensorflow/models