模块:tfds
在__init__.py中定义。
tensorflow_datasets(tfds)定义与TensorFlow一起使用的数据集集合。
每个数据集都定义为tfds.core.DatasetBuilder,它封装了下载数据集和构造输入管道的逻辑,并包含数据集文档(版本,拆分,示例数等)。
主库入口点是:
-
tfds.builder:按名称获取tfds.core.DatasetBuilder
-
tfds.load:构造构建器,下载数据和创建输入管道的便捷方法,返回tf.data.Dataset。
文档:
文档
- These API docs
- 可用数据集
- Colab教程
- 添加数据集
模块
-
core模块:用于定义数据集的API。
-
download模块:tfds.download.DownloadManager API。
-
features module:tfds.features.FeatureConnector API定义特征类型。
-
file_adapter模块:GeneratorBasedBuilder的tfds.file_adapter.FileFormatAdapters。
-
units模块:定义转换各种单位的便利常数/功能。
-
testing模块:测试实用程序。
类
-
class GenerateMode:Enum,用于处理预先存在的下载和数据。
-
class percent:用于定义切片子切片的语法糖:tfds.percent [75:-5]。
-
class Split:用于数据集拆分的枚举。
功能
-
as_numpy(…):将tf.data.Dataset转换为可迭代的NumPy数组。
-
builder(…):按字符串名称获取tfds.core.DatasetBuilder。
-
list_builders(…):返回所有tfds.core.DatasetBuilders的字符串名称。
-
load(…):将命名数据集加载到tf.data.Dataset中。