Petastorm 开源项目教程

Petastorm 开源项目教程

petastormPetastorm library enables single machine or distributed training and evaluation of deep learning models from datasets in Apache Parquet format. It supports ML frameworks such as Tensorflow, Pytorch, and PySpark and can be used from pure Python code.项目地址:https://gitcode.com/gh_mirrors/pe/petastorm

项目介绍

Petastorm 是一个由 Uber ATG 开发的开源数据访问库。该库使得从 Apache Parquet 格式的数据集中直接进行单机或分布式的深度学习模型训练和评估成为可能。Petastorm 支持基于 Python 的流行机器学习框架，如 TensorFlow、PyTorch 和 PySpark。它不仅可以与这些框架集成，还可以在纯 Python 代码中使用。

项目快速启动

安装

首先，通过 pip 安装 Petastorm：

pip install petastorm

如果需要安装特定依赖项，例如 GPU 版本的 TensorFlow 和 OpenCV，可以使用以下命令：

pip install petastorm[opencv,tf_gpu]

生成数据集

使用 PySpark 生成一个 Petastorm 数据集，该数据集存储在 Apache Parquet 格式中。以下是一个简单的示例：

from pyspark.sql import SparkSession
from petastorm.etl.dataset_metadata import materialize_dataset

# 初始化 Spark 会话
spark = SparkSession.builder.appName("example").getOrCreate()

# 定义数据集路径和 schema
dataset_url = 'file:///tmp/my_dataset'
schema = ...  # 定义你的 schema

# 生成数据集
with materialize_dataset(spark, dataset_url, schema):
    df = spark.createDataFrame([...])  # 创建你的 DataFrame
    df.write.mode('overwrite').parquet(dataset_url)

应用案例和最佳实践

案例一：使用 TensorFlow 进行训练

Petastorm 可以直接从 Parquet 文件中加载数据，并用于 TensorFlow 模型的训练。以下是一个简单的示例：

from petastorm import make_batch_reader
import tensorflow as tf

with make_batch_reader('file:///tmp/my_dataset') as reader:
    for row in reader:
        features, labels = row['features'], row['labels']
        model.fit(features, labels)

最佳实践

• 数据压缩：使用 Petastorm 的数据编解码器功能，可以对数据进行压缩，如使用 JPEG 或 PNG 格式。
• 分布式训练：利用 Petastorm 的分布式支持，可以在多个节点上进行高效的数据加载和模型训练。

典型生态项目

Petastorm 与多个流行的机器学习框架和工具集成，形成了丰富的生态系统：

• TensorFlow：直接从 Petastorm 数据集中加载数据进行训练。
• PyTorch：同样支持从 Petastorm 数据集中加载数据。
• PySpark：用于数据预处理和生成 Petastorm 数据集。

通过这些集成，Petastorm 提供了一个高效、灵活的数据访问解决方案，适用于各种深度学习和机器学习任务。

petastormPetastorm library enables single machine or distributed training and evaluation of deep learning models from datasets in Apache Parquet format. It supports ML frameworks such as Tensorflow, Pytorch, and PySpark and can be used from pure Python code.项目地址:https://gitcode.com/gh_mirrors/pe/petastorm