根据学习《TensorFlow实战Goolgle深度学习框架》摘抄的三四章重点
一、计算图——Tensorflow的计算模型
1.1 计算图的概念
TensorFlow中的每一个计算都是计算图上的一个节点,而节点之间的边描述了计算之间的依赖关系
- 两个向量相加样例的计算图:
1.2 计算图的使用
Tensorflow程序一般可以分为两个阶段:
- 第一个阶段需要定义计算图中所有的计算
- 第二个阶段为执行阶段
定义阶段的样例:
import tensorflow as tf
a = tf.constant([1.0, 2.0], name="a")
b = tf.constant([2.0, 3.0], name="b")
result = a + b
- 在TensorFlow程序中,系统会自动维护一个默认的计算图,通过tf.get_default_graph函数可以获取当前默认的计算图
- 除了使用默认的计算图,TensorFlow支持通过tf.Graph函数来生成新的计算图。不同计算图上的张量和运算都不会共享
- 在一个计算图中,可以通过集合(collection)来管理不同类别的资源。比如通过tf.add_to_collection函数可以将资源加入一个或多个集合中,然后通过tf.get_collection获取一个集合里面的所有资源
二、张量——TensorFlow的数据模型
在TensorFlow程序中,所有数据都通过张量(tensor)的形式来表示
例如:
import tensorflow as tf
a = tf.constant([1.0, 2.0], name="a")
b = tf.constant([2.0, 3.0], name="b")
result = a + b
print result
##############################
# 输出:
# Tensor("add:0", shape=(2,), dtype=float32)
一个张量中主要保存了三个属性:名字、维度和类型
三、会话——TensorFlow的运行模型
会话(session)拥有并管理TensorFlow程序运行时的所有资源。
当所有计算完成之后需要关闭会话来帮助系统回收资源,否则就可能出现资源泄露的问题
使用TensorFlow中的会话来执行定义好的运算:
- 第一种模式需要明确调用会话生成函数和关闭会话函数:
# 创建一个会话
sess = tf.Session()
# 使用这个创建好的会话来得到关心的运算的结果。
# 比如可以调用sess.run(result)来的到张量result的取值
sess.run(...)
# 关闭会话使得本次运行中使用到的资源可以被释放
sess.close()
- TensorFlow可以通过Python的上下文管理器来使用会话:
# 创建一个会话,并通过Python中的上下文管理器来管理这个会话
with tf.Session() as sess:
# 使用这个创建好的会话来计算关心的结果
sess.run(...)
# 不需要再调用"Session.close()"函数来关闭对话
# 当上下文退出时会话关闭和资源释放也自动完成了
四、神经网络相关
使用神经网络解决分类问题主要分为4个步骤
- 提取问题中实体的特征向量作为神经网络的输入
- 定义神经网络的结构,并定义如何从神经网络的输入得到输出。(神经网络的前向传播算法)
- 通过训练数据来调整神经网络中参数的取值,这就是训练神经网络的过程
- 使用训练好的神经网络来预测未知的数据
4.1 全连接网络结构的前向传播算法
神经元结构示意图:
- 一个神经元有多个输入和一个输出,每个神经元的输入既可以是其他神经元的输出,也可以是整个神经网络的输入
- 所谓神经网络的结构就是指的不同神经元之间的连接结构
- 如图所示,一个