摘要:本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的数据IO、图的运行等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之三。
1、序言
本文所讲的内容主要为以下相关函数:
操作组 | 操作 |
---|---|
Data IO (Python functions) | TFRecordWrite,rtf_record_iterator |
Running Graphs | Session management,Error classes |
2、tf函数
2.1 数据IO {Data IO (Python functions)}
一个TFRecords 文件为一个字符串序列。这种格式并非随机获取,它比较适合大规模的数据流,而不太适合需要快速分区或其他非序列获取方式。
数据IO {Data IO (Python functions)}
操作 | 描述 |
---|---|
class tf.python_io.TFRecordWriter | 一个用于将记录(records)写入TFRecords文件的类 |
tf.python_io.TFRecordWriter.__init__(path, options=None) | 打开文件路径,并创建一个TFRecordWriter以供写入 |
tf.python_io.TFRecordWriter.write(record) | 将一个字符串records写入文件中 |
tf.python_io.TFRecordWriter.close() | 关闭文件 |
tf.python_io.tf_record_iterator(path, options=None) | 从TFRecords文件中读取记录的迭代器 |
2.2 运行图(Running Graphs)
会话管理 (Session management)
操作 | 描述 |
---|---|
class tf.Session | 运行TF操作的类, 一个Session对象将操作节点op封装在一定的环境内运行, 同时tensor对象将被计算求值 |
tf.Session.__init__(target=”, graph=None, config=None) | 创建一个新的会话 |
tf.Session.run(fetches, feed_dict=None, options=None, run_metadata=None) | 运行fetches中的操作节点并求其值 |
tf.Session.close() | 关闭会话 |
tf.Session.graph | 返回加载值该会话的图(graph) |
tf.Session.as_default() | 设置该对象为默认会话,并返回一个上下文管理器 |
tf.Session.reset(target, containers=None, config=None) | 重设target的资源容器,并关闭所有连接的会话 在0.10版本该功能仅应用在分布会话中 target:为执行引擎所连接的目标,其包含有资源容器, 该资源容器分布在同一个集群的所有works上 |
class tf.InteractiveSession | 使用在交互式上下文环境的tf会话,比如shell,ipython |
tf.InteractiveSession.close() | 关闭一个InteractiveSession |
tf.get_default_session() | 返回当前线程的默认会话 |
tf.Session
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
tf.Session()的变量设置, ConfigProto protocol buffer为会话提供了不同的配置选项。比如,创建一个会话,对设备布局使用软约束条件,以及对分布
- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
tf.Session.run
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
tf.Session.as_default()
使用关键字with指定会话, 可以在会话中执行Operation.run()或Tensor.eval(),以得到运行的tensor结果
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
使用函数tf.get_default_session()来得到当前默认的会话
需要注意的是,退出该as_default上下文管理器时,并没有关闭该会话(session ),必须明确的关闭会话
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
tf.InteractiveSession
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
以上的例子,在非交互会话的版本中为,
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
ABC
错误类 (Error classes)
操作 | 描述 |
---|---|
class tf.OpError | 一个基本的错误类型,在当TF执行失败时候报错 |
tf.OpError.op | 返回执行失败的操作节点, 有的操作如Send或Recv可能不会返回,那就要用用到node_def方法 |
tf.OpError.node_def | 以NodeDef proto形式表示失败的op |
tf.OpError.error_code | 描述该错误的整数错误代码 |
tf.OpError.message | 返回错误信息 |
class tf.errors.CancelledError | 当操作或者阶段呗取消时候报错 |
class tf.errors.UnknownError | 未知错误类型 |
class tf.errors.InvalidArgumentError | 在接收到非法参数时候报错 |
class tf.errors.NotFoundError | 当发现不存在所请求的一个实体时候,比如文件或目录 |
class tf.errors.AlreadyExistsError | 当创建的实体已经存在的时候报错 |
class tf.errors.PermissionDeniedError | 没有执行权限做某操作的时候报错 |
class tf.errors.ResourceExhaustedError | 资源耗尽时报错 |
class tf.errors.FailedPreconditionError | 系统没有条件执行某个行为时候报错 |
class tf.errors.AbortedError | 操作中止时报错,常常发生在并发情形 |
class tf.errors.OutOfRangeError | 超出范围报错 |
class tf.errors.UnimplementedError | 某个操作没有执行时报错 |
class tf.errors.InternalError | 当系统经历了一个内部错误时报出 |
class tf.errors.DataLossError | 当出现不可恢复的错误 例如在运行 tf.WholeFileReader.read()读取整个文件的同时文件被删减 |
tf.errors.XXXXX.__init__(node_def, op, message) | 使用该形式方法创建以上各种错误类 |
相关链接:
[1] 安装Tensorflow(Linux ubuntu) http://blog.csdn.net/lenbow/article/details/51203526
[2] ubuntu下CUDA编译的GCC降级安装 http://blog.csdn.net/lenbow/article/details/51596706
[3] ubuntu手动安装最新Nvidia显卡驱动 http://blog.csdn.net/lenbow/article/details/51683783
[4] Tensorflow的CUDA升级,以及相关配置 http://blog.csdn.net/lenbow/article/details/52118116
[5] 基于gensim的Doc2Vec简析 http://blog.csdn.net/lenbow/article/details/52120230
[6] TensorFlow的分布式学习框架简介 http://blog.csdn.net/lenbow/article/details/52130565
[7] Tensorflow一些常用基本概念与函数(1) http://blog.csdn.net/lenbow/article/details/52152766
[8] Tensorflow一些常用基本概念与函数(2) http://blog.csdn.net/lenbow/article/details/52181159