TensorFlow中的计算图

最新推荐文章于 2022-09-15 09:30:57 发布

数据与智能

最新推荐文章于 2022-09-15 09:30:57 发布

阅读量330

点赞数

本文链接：https://blog.csdn.net/qq_43045873/article/details/102480731

版权

点击上方“大数据与人工智能”，“星标或置顶公众号”

第一时间获取好内容

作者丨stephenDC

编辑丨zandy

这是作者的第19篇文章

什么是计算图？

一个机器学习任务的核心是模型的定义以及模型的参数求解方式，对这两者进行抽象之后，可以确定一个唯一的计算逻辑，将这个逻辑用图表示，称之为计算图。计算图表现为有向无环图，定义了数据的流转方式，数据的计算方式，以及各种计算之间的相互依赖关系等。

计算图的基本组成

TensorFlow的计算图粒度比较细，由节点和有向边组成（后来也加入了层）。相比之下，腾讯的开源机器学习平台Angel，其计算图的粒度较粗，由层（Layer）组成。很明显，粒度越细，灵活性越好；粒度越粗，开发效率越高。用Angel手动搭建模型，层层堆叠，几行代码就够了（事实上，Angel借鉴了Caffe的方式，可以直接读取Json文件，生成深度网络）；但限制在于，只能使用官方已经实现的Layer，因此诸如RNN和DNN，Angel目前是不支持的，开发者也无法自己实现。因此，开发者可以根据自己的不同需求，选择相应的平台。

下面，我们简要介绍一下TensorFlow的基本组成，即节点和有向边。

2.1

节点

基于梯度下降求解的机器学习问题，一般分为前向求值和后向求梯度两个过程。其中，前向过程由用户指定，包括模型定义，目标函数、损失函数、激活函数的选取等；后向的计算过程，包括计算梯度，更新梯度等，在优化器中已经由TensorFlow实现，用户不必关心。

前向图中的节点，根据功能主要分为计算节点（Operation）、存储节点（Variable）和数据节点（Placeholder）3类。

Operation：对应无状态的计算或控制操作，主要负责算法逻辑表达或者流程控制。

Variable：对应有状态的变量操作，通常用来存储模型参数。

Placeholder：用于定义输入数据的类型和形状等属性，是对数据的统一抽象。

后向图中的节点，也可以分为3类，如下：

梯度：迭代过程中，模型参数的梯度。

参数更新操作：根据优化器的优化算法，结合梯度更新相应的模型参数。

更新后的参数：更新后的模型参数，用于模型的下一轮训练。