tensorflow dataset 的一些使用经验

最近使用 tensorflow dataset 的过程，以及不同方法的考量大概经历了一下几个过程。

1. 把训练文件生成一个 tfrecord。
2. 后来发现其实我们是按天更新的，于是改成了多个 tfrecord，读取的时候，直接传一个文件列表就行了。之所以这样，一方面是不需要每天重复更新之前的数据，另一方面是避免了生成太大的文件。
3. 把本地生成的 tfrecord 放到 hdfs 上，训练的时候，直接读取 hdfs 文件。这样做的原因，主要是因为训练的服务器硬盘有限，同时有很多模型在使用。如果都把 tfrecord 文件放到这里，很容易就会硬盘满了，大家都跑不动了。
4. 3 中使用的方法，仍然要把数据 load 到本地，转换成 tfrecord 之后再推到 hdfs 上，缓解了本地的硬盘压力，但是也容易出现扎堆占用本地硬盘的情况。所以采用了 hadoop-streaming 的方法，在 reduce 的过程中，在结点上生成 tfrecord，reduce 结束的时候，在用 hadoop fs -put 的方法放到指定的 hdfs 目录下。
5. 方法 4 的尴尬之处在于，我们的 hadoop 结点上没有 安装 hadoop client 。。所以方法 4 并不适用于我所遇到的问题。于是，我们采用了 TextlineData 的方式。这种方法可以用 list_files 把目录下的文件匹配出来（这里是可以指定解压格式的，比较方便）。然后使用 filter 方法进行采样。最后再使用 map 的方法把数据从 libsvm 格式的文件中得到 label/feature_index/feature/value。在这里使用 filter/map 都可以使用 py_function 对 tensor 的处理进行封装。
6. 方法 5 的缺点是，在训练的时候执行采样会比较慢，而且每次训练都需要重新采样，这样其实不太有必要。于是，我在 5 的过程中，加了一层预处理，先使用 map/reduce 对训练数据进行采样，然后直接训练。这也算是用 hdfs 的空间换训练的时间了吧。