Apache Gobblin 使用教程

Apache Gobblin 使用教程

gobblinA distributed data integration framework that simplifies common aspects of big data integration such as data ingestion, replication, organization and lifecycle management for both streaming and batch data ecosystems.项目地址:https://gitcode.com/gh_mirrors/go/gobblin

项目介绍

Apache Gobblin 是一个分布式数据集成框架，旨在简化大数据集成中的常见任务，如数据摄取、复制、组织和生命周期管理，适用于流式和批处理数据生态系统。Gobblin 优化并设计用于 ELT 模式，支持在数据摄取时进行内联转换。

项目快速启动

环境准备

确保你已经安装了以下软件：

• Java 8 或更高版本
• Git
• Gradle

克隆项目

首先，克隆 Gobblin 项目到本地：

git clone https://github.com/apache/gobblin.git
cd gobblin

构建项目

使用 Gradle 构建项目：

./gradlew build

运行示例任务

构建完成后，可以运行一个示例任务来验证安装：

./gradlew :gobblin-example:run

应用案例和最佳实践

Kafka-HDFS Ingestion

Gobblin 可以用于从 Kafka 摄取数据并存储到 HDFS。以下是一个简单的配置示例：

job.name=KafkaHDFSJob
job.group=KafkaIngestion
job.description=Ingest data from Kafka to HDFS
source.class=org.apache.gobblin.source.extractor.extract.kafka.KafkaSimpleSource
writer.builder.class=org.apache.gobblin.writer.AvroHdfsDataWriterBuilder
kafka.brokers=localhost:9092
kafka.topics=test_topic
hdfs.uri=hdfs://localhost:8020

Hive Avro-To-Orc Converter

Gobblin 支持将 Avro 格式的数据转换为 ORC 格式，并注册到 Hive 中。以下是一个配置示例：

job.name=AvroToOrcJob
job.group=DataConversion
job.description=Convert Avro data to ORC and register in Hive
source.class=org.apache.gobblin.source.extractor.file.AvroFileSource
converter.classes=org.apache.gobblin.converter.avro.AvroToOrcConverter
writer.builder.class=org.apache.gobblin.writer.OrcHdfsDataWriterBuilder
hive.registration.enabled=true

典型生态项目

Gobblin on Yarn

Gobblin 可以在 Yarn 上运行，以利用 Hadoop 集群的资源进行数据处理。配置示例如下：

job.name=GobblinYarnJob
job.group=YarnDeployment
job.description=Run Gobblin job on Yarn
gobblin.yarn.app.name=GobblinYarnApp
gobblin.yarn.queue.name=default
gobblin.yarn.am.memory=1024
gobblin.yarn.am.cores=1

Gobblin Metrics

Gobblin 提供了丰富的指标系统，可以监控 ETL 过程的性能。以下是一个简单的指标配置示例：

metrics.enabled=true
metrics.reporting.file.enabled=true
metrics.reporting.file.filePath=/path/to/metrics.log

通过以上教程，您应该能够快速启动并运行 Apache Gobblin，并了解其在实际应用中的使用方法和最佳实践。

gobblinA distributed data integration framework that simplifies common aspects of big data integration such as data ingestion, replication, organization and lifecycle management for both streaming and batch data ecosystems.项目地址:https://gitcode.com/gh_mirrors/go/gobblin