MachineLearning入门---第5章---TensorFlow的核心基础概念

Fuly1024

于 2021-12-06 19:21:33 发布

阅读量111

点赞数

分类专栏： Machine Learning 文章标签： tensorflow python 人工智能

本文链接：https://blog.csdn.net/xy3233/article/details/121743564

版权

Machine Learning 专栏收录该内容

20 篇文章 3 订阅

订阅专栏

指导教程: https://github.com/lyhue1991/eat_tensorflow2_in_30_days

TensorFlow 是⼀个采⽤数据流图（data flow graphs），⽤于数值计算的开源软件库。
张量和计算图是 TensorFlow的核心概念。Tensorflow的基本数据结构是张量Tensor。张量即多维数组。

从行为特性来看，有两种类型的张量，常量constant和变量Variable.
常量的值在计算图中不可以被重新赋值，变量可以在计算图中用assign等算子重新赋值。

常量张量
Tensorflow的张量和numpy中的array很类似。张量的数据类型和numpy.array基本一一对应。

import numpy as np
import tensorflow as tf

i = tf.constant(1) # tf.int32 类型常量
l = tf.constant(1,dtype = tf.int64) # tf.int64 类型常量
f = tf.constant(1.23) #tf.float32 类型常量
d = tf.constant(3.14,dtype = tf.double) # tf.double 类型常量
s = tf.constant("hello world") # tf.string类型常量
b = tf.constant(True) #tf.bool类型常量


print(tf.int64 == np.int64) # 等价
print(tf.bool == np.bool)  # 等价
print(tf.double == np.float64)  # 等价
print(tf.string == np.unicode) # tf.string类型和np.unicode类型不等价

变量张量:
模型中需要被训练的参数一般被设置成变量。
常量值不可以改变，常量的重新赋值相当于创造新的内存空间
变量的值可以改变，可以通过assign, assign_add等方法给变量重新赋值

v = tf.Variable([1.0,2.0],name = "v")
print(v)
print(id(v))
v.assign_add([1.0,1.0])
print(v)
print(id(v))

tensorflow计算图:

有三种计算图的构建方式：静态计算图，动态计算图，以及Autograph.

在TensorFlow1.0时代，采用的是静态计算图，需要先使用TensorFlow的各种算子创建计算图，然后再开启一个会话Session，显式执行计算图。
而在TensorFlow2.0时代，采用的是动态计算图，即每使用一个算子后，该算子会被动态加入到隐含的默认计算图中立即执行得到结果，而无需开启Session。
使用动态计算图即Eager
Excution的好处是方便调试程序，它会让TensorFlow代码的表现和Python原生代码的表现一样，写起来就像写numpy一样，各种日志打印，控制流全部都是可以使用的。
使用动态计算图的缺点是运行效率相对会低一些。因为使用动态图会有许多次Python进程和TensorFlow的C++进程之间的通信。
而静态计算图构建完成之后几乎全部在TensorFlow内核上使用C++代码执行，效率更高。此外静态图会对计算步骤进行一定的优化，剪去和结果无关的计算步骤。
如果需要在TensorFlow2.0中使用静态图，可以使用@tf.function装饰器将普通Python函数转换成对应的TensorFlow计算图构建代码。
运行该函数就相当于在TensorFlow1.0中用Session执行代码。使用tf.function构建静态图的方式叫做
Autograph.

计算图由节点(nodes)和线(edges)组成
节点表示操作符Operator，或者称之为算子，线表示计算间的依赖。
实线表示有数据传递依赖，传递的数据即张量。
虚线通常可以表示控制依赖，即执行先后顺序。
静态计算图
在TensorFlow1.0中，使用静态计算图分两步，第一步定义计算图，第二步在会话中执行计算图。
TensorFlow2.0为了确保对老版本tensorflow项目的兼容性，在tf.compat.v1子模块中保留了对TensorFlow1.0那种静态计算图构建风格的支持。
可称之为怀旧版静态计算图，已经不推荐使用了。
动态计算图
在TensorFlow2.0中，使用的是动态计算图和Autograph.
在TensorFlow1.0中，使用静态计算图分两步，第一步定义计算图，第二步在会话中执行计算图。
动态计算图已经不区分计算图的定义和执行了，而是定义后立即执行。因此称之为 Eager Excution.
Eager这个英文单词的原意是"迫不及待的"，也就是立即执行的意思。
动态计算图在每个算子处都进行构建，构建后立即执行
可以将动态计算图代码的输入和输出关系封装成函数
TensorFlow2.0的Autograph
动态计算图运行效率相对较低。
可以用@tf.function装饰器将普通Python函数转换成和TensorFlow1.0对应的静态计算图构建代码。
在TensorFlow1.0中，使用计算图分两步，第一步定义计算图，第二步在会话中执行计算图。
在TensorFlow2.0中，如果采用Autograph的方式使用计算图，第一步定义计算图变成了定义函数，第二步执行计算图变成了调用函数。
不需要使用会话了，一些都像原始的Python语法一样自然。
实践中，我们一般会先用动态计算图调试代码，然后在需要提高性能的的地方利用@tf.function切换成Autograph获得更高的效率。
自动微分机制
神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。
而深度学习框架可以帮助我们自动地完成这种求梯度运算。
Tensorflow一般使用梯度磁带tf.GradientTape来记录正向运算过程，然后反播磁带自动得到梯度值。
这种利用tf.GradientTape求微分的方法叫做Tensorflow的自动微分机制。