tf.data.Dataset.map()函数

TensorFlow 1.4以后,引入了新的tf.data.Dataset,这是个非常好用的模块,具体可以参考以下URL:

https://blog.csdn.net/kwame211/article/details/78579035

 

看代码的时候,一直有个疑问,就是关于类似tf.data.Dataset.map()的这种函数参数,很不容易理解。

定义:

map(
    map_func,
    num_parallel_calls=None
)

1,这种属于稍微可以理解的,参数是一个lambda函数,其中x是a的内容。

# NOTE: The following examples use `{ ... }` to represent the
# contents of a dataset.
a = { 1, 2, 3, 4, 5 }

a.map(lambda x: x + 1) = { 2, 3, 4, 5, 6 }

2,这种写法,一度令我非常困惑,函数fun定义了一个参数x,但是x没有任何地方赋值。
     参考1的写法,倒是能明白意思。

     官方的说明是这样的:    

     This transformation applies map_func to each element of this dataset, and returns a new dataset containing the transformed elements, in the same order as they appeared in the input.

import tensorflow as tf
def fun(x):
    return x +1


ds = tf.data.Dataset.range(5)
ds = ds.map(fun)

简单的可以理解为,map的参数是一个函数,而这个函数的参数是固定的。就是和你的dataset的内容是完全一致的。
上例中函数fun的参数x是固定的,虽然在很多语言里,这不太容易理解,不过可以理解为python的特性吧。

假如,想对fun的参数x进行自定义,比如要另加一个参数y, 也可以实现。就是用lambda和函数配合使用。

def fun(x, y):
    return x + y

y = tf.constant(2, dtype=tf.int64)
ds = tf.data.Dataset.range(5)
ds = ds.map(lambda x: fun(x, y))

参考:https://stackoverflow.com/questions/46263963/how-to-map-a-function-with-additional-parameter-using-the-new-dataset-api-in-tf1

  • 6
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
tf.data.DatasetTensorFlow中用于处理数据的模块,它提供了一种高效且易于使用的数据输入方式,可以处理大量的数据并且可以轻松地与TensorFlow中的其他模块集成。 使用tf.data.Dataset有以下几个步骤: 1. 创建Dataset对象 可以通过多种方式创建Dataset对象,例如: - 从Tensor创建:tf.data.Dataset.from_tensor_slices(tensor) - 从numpy数组创建:tf.data.Dataset.from_tensor_slices(numpy_array) - 从文件创建:tf.data.Dataset.from_tensor_slices(file_paths) 2. 对数据进行转换和处理 Dataset对象可以应用多种转换和处理函数,例如: - map():对每个元素应用一个函数 - filter():根据条件过滤数据 - batch():将数据分成小批次 - shuffle():随机打乱数据 可以通过链式调用这些函数来对数据进行处理和转换。 3. 创建迭代器 可以使用Dataset对象的make_one_shot_iterator()方法创建一个迭代器,该迭代器将按顺序遍历Dataset对象中的每个元素。也可以使用make_initializable_iterator()方法创建一个可初始化的迭代器,需要在使用迭代器之前调用迭代器的initialize()方法初始化。 4. 使用迭代器读取数据 可以使用迭代器的get_next()方法获取下一个元素。在使用Session运行TensorFlow图时,可以将get_next()方法的结果作为feed_dict的值传递给模型。 示例代码: ```python import tensorflow as tf # 创建Dataset对象 data = tf.data.Dataset.from_tensor_slices(tf.range(10)) # 对数据进行转换和处理 data = data.filter(lambda x: x % 2 == 0) data = data.map(lambda x: x * 2) data = data.shuffle(buffer_size=10) data = data.batch(batch_size=2) # 创建迭代器 iterator = data.make_initializable_iterator() # 使用迭代器读取数据 with tf.Session() as sess: sess.run(iterator.initializer) while True: try: batch = sess.run(iterator.get_next()) print(batch) except tf.errors.OutOfRangeError: break ``` 此代码将创建一个包含数字0到9的Dataset对象,并对其进行过滤、映射、随机打乱和分批处理。然后创建一个可初始化的迭代器,并使用Session运行TensorFlow图来逐批处理数据。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值