1. 背景
dataset是tensorflow支持的一种新的数据读取方式,相对直接feed更加优雅,我个人比较喜欢这种方式。关于具体的使用方式,可以参考这篇文章https://towardsdatascience.com/how-to-use-dataset-in-tensorflow-c758ef9e4428。
但是在实际用的过程中,我遇到了一些问题,就是在load变长数据的过程中,会出问题,我的解决方式是通过generator来进行处理。
2. 问题
例如,直接通过tensor来inti dataset
import tensorflow as tf
data=[[1,2,3],[4,5]]
dataset=tf.data.Dataset.from_tensor_slices(data)
ValueError: Argument must be a dense tensor: [[1, 2, 3], [4, 5]] - got shape [2], but wanted [2, 3].
这种时候,会有error,这是因为[[1, 2, 3], [4, 5]]的shape是[2],因为第二个维度没有fix长度,这种情况下,只能手动进行padding。
如果不想直接按照固定长度进行处理,还需要提前进行batch的处理,这个当然也是OK的,早期的tf代码其实很多都是这样做的。
但是,现在tf的dataset支持很多高级功能,并且通过featu