参考链接:https://blog.csdn.net/lyb3b3b/article/details/82910863
tf.data.Dataset的API导入
在tf 1.3.0及其以下版本中,Dataset API是放在contrib包中的:
tf.contrib.data.Dataset
从tf 1.4.0开始该API独立出来:
tf.data.Dataset
一、基本概念:Dataset与Iterator
在初学时,我们只需要关注两个最重要的基础类:Dataset和Iterator。
Dataset可以看作是相同类型“元素”的有序列表。在实际使用时,单个“元素”可以是向量,也可以是字符串、图片,甚至是tuple或者dict。
from_tensor_slices是这个Dataset类的一个方法
-
先tf.data.Dataset.from_tensor_slices产生数据集Dataset,经过实例化,才产生迭代器Iterator。
-
注意迭代器Iterator分为:
iterator = dataset.make_one_shot_iterator() 只能读一次
iterator = dataset.make_initializable_iterator() (这个需要iterator.initializer初始化)
import tensorflow as tf
import numpy as np
'''创建dataset'''
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))
'''实例化iterator'''
iterator = dataset.make_one_shot_iterator()
one_element = iterator.get_next()
with tf.Session() as sess:
for i in range(5):
print(sess.run(one_element)) # 则输出1.0 2.0 3.0 4.0 5.0
# 或者
# 不过,make_initializable_iterator的情况需要初始化
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()
with tf.Session() as sess:
# 注意:这里多了一个初始化,
sess.run(iterator.initializer)
try:
while True:
print(sess.run(next_element))
except tf.errors.OutOfRangeError:
print('end')
- 使用dataset=tf.data.Dataset.from_tensor_slices创建dataset
- iterator = dataset.make_one_shot_iterator()从dataset中实例化了一个Iterator
- one_element = iterator.get_next()表示从iterator里取出一个tensor
- 使用sess.run,才可以获取真正的值
二、高维数据集使用
tf.data.Dataset.from_tensor_slices真正的作用是切分传入Tensor的第一个维度,生成相应的dataset。
dataset = tf.data.Dataset.from_tensor_slices(np.random.uniform(size=(5, 2)))
传入的数值是一个矩阵,它的形状为(5, 2),tf.data.Dataset.from_tensor_slices就会切分它形状上的第一个维度,最后生成的dataset中一个含有5个元素,每个元素的形状是(2, ),即每个元素是矩阵的一行。
在实际使用中,我们可能还希望Dataset中的每个元素具有更复杂的形式,如每个元素是一个Python中的元组,或是Python中的词典
例如,输入是训练集和标签的tuple,生成的每条记录也是tuple
dataset = tf.contrib.data.Dataset.from_tensor_slices(
( np.random.uniform(size=(5, 2)), np.array([1.0, 2.0, 3.0, 4.0, 5.0])))
iterator = dataset.make_one_shot_iterator()
one_element = iterator.get_next()
with tf.Session() as sess:
try:
while True:
print(sess.run(one_element))
except tf.errors.OutOfRangeError:
print("end!")
输出:
(array([6.55877282e-04, 6.63244735e-01]),1.0)
(array([0.04756927, 0.44968581]),2.0)
(array([0.97841076, 0.06465231]),3.0)
(array([0.46639246, 0.39146086]),4.0)
(array([0.61085016, 0.61609538]),5.0)
例如,在图像识别问题
一个元素可以是{“image”: image_tensor, “label”: label_tensor}的形式,这样处理起来更方便。
tf.data.Dataset.from_tensor_slices同样支持创建这种dataset,例如我们可以让每一个元素是一个词典。
dataset = tf.contrib.data.Dataset.from_tensor_slices(
{
"a": np.array([1.0, 2.0, 3.0, 4.0, 5.0]),
"b": np.random.uniform(size=(5, 2))
}
)
iterator = dataset.make_one_shot_iterator()
one_element = iterator.get_next()
with tf.Session() as sess:
try:
while True:
print(sess.run(one_element))
except tf.errors.OutOfRangeError:
print("end!")
输出:
{'a': 1.0, 'b': array([0.31721037, 0.33378767])}
{'a': 2.0, 'b': array([0.99221946, 0.65894961])}
{'a': 3.0, 'b': array([0.98405468, 0.11478854])}
{'a': 4.0, 'b': array([0.95311317, 0.57432678])}
{'a': 5.0, 'b': array([0.46067428, 0.19716722])}
三、对Dataset中的元素做变换
Dataset支持一类特殊的操作:Transformation。一个Dataset通过Transformation变成一个新的Dataset。通常我们可以通过Transformation完成数据变换,打乱,组成batch,生成epoch等一系列操作。
常用的Transformation有:
- Map
- batch
- shuffle
- repeat
1 .map
map接收一个函数,Dataset中的每个元素都会被当作这个函数的输入,并将函数返回值作为新的Dataset,如我们可以对dataset中每个元素的值加1:
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))
dataset = dataset.map(lambda x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0
2.batch
batch就是将多个元素组合成batch,如下面的程序将dataset中的每个元素组成了大小为2的batch:
dataset = tf.data.Dataset.from_tensor_slices(
{
"a": np.array([1.0, 2.0, 3.0, 4.0, 5.0]),
"b": np.random.uniform(size=(5, 2))
})
dataset = dataset.batch(2)
iterator = dataset.make_one_shot_iterator()
one_element = iterator.get_next()
with tf.Session(config=config) as sess:
try:
while True:
print(sess.run(one_element))
except tf.errors.OutOfRangeError:
print("end!")
输出
{'a': array([1., 2.]), 'b': array([[0.87466134, 0.21519021], [0.6123372 , 0.95722733]])}
{'a': array([3., 4.]), 'b': array([[0.76964374, 0.22445015], [0.08313089, 0.60531841]])}
{'a': array([5.]), 'b': array([[0.37901654, 0.3955096 ]])}
3.shuffle
shuffle的功能为打乱dataset中的元素,它有一个参数buffersize,表示打乱时使用的buffer的大小:
dataset = dataset.shuffle(buffer_size=10000)
4.repeat
repeat的功能就是将整个序列重复多次,主要用来处理机器学习中的epoch,假设原先的数据是一个epoch,使用repeat(5)就可以将之变成5个epoch:dataset = dataset.repeat(5)
如果直接调用repeat()的话,生成的序列就会无限重复下去,没有结束,因此也不会抛出tf.errors.OutOfRangeError异常:dataset = dataset.repeat()
5.读入磁盘图片与对应label
我们可以来考虑一个简单,但同时也非常常用的例子:读入磁盘中的图片和图片相应的label,并将其打乱,组成batch_size=32的训练样本。在训练时重复10个epoch。
# 函数的功能时将filename对应的图片文件读进来,并缩放到统一的大小
def _parse_function(filename, label):
image_string = tf.read_file(filename)
image_decoded = tf.image.decode_image(image_string)
image_resized = tf.image.resize_images(image_decoded, [28, 28])
return image_resized, label
# 图片文件的列表
filenames = tf.constant(["/var/data/image1.jpg", "/var/data/image2.jpg", ...])
# label[i]就是图片filenames[i]的label
labels = tf.constant([0, 37, ...])
# 此句后dataset中的一个元素是(filename, label)
dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))
# 此句后dataset中的一个元素是(image_resized, label)
dataset = dataset.map(_parse_function)
# 此句后dataset中的一个元素是(image_resized_batch, label_batch)
dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)
这个过程中,dataset经历三次转变:
- 运行dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))后,dataset的一个元素是(filename, label)。filename是图片的文件名,label是图片对应的标签。
- 之后通过map,将filename对应的图片读入,并缩放为28x28的大小。此时dataset中的一个元素是(image_resized, label)。
- 最后,dataset.shuffle(buffersize=1000).batch(32).repeat(10)的功能是:在每个epoch内将图片打乱组成大小为32的batch,并重复10次。最终,dataset中的一个元素是(image_resized_batch, label_batch),image_resized_batch的形状为(32, 28, 28, 3),而label_batch的形状为(32, ),接下来我们就可以用这两个Tensor来建立模型了。