Bender：一个无服务器ETL框架的搭建与使用教程

Bender：一个无服务器ETL框架的搭建与使用教程

bender Bender - Serverless ETL Framework 项目地址: https://gitcode.com/gh_mirrors/bend/bender

1. 项目目录结构及介绍

Bender 是一个基于Java的无服务器提取、转换、加载(ETL)框架，设计用于在AWS Lambda上运行。下面是其主要的目录结构及其简要介绍：

• [core]：包含了Bender的核心逻辑和接口定义。
• [deserializers]：提供数据反序列化功能的模块，如JSON反序列化处理。
• [examples_project]：示例项目，展示如何将Bender应用于实际的ETL流程中。
• [handlers]：事件处理器，连接AWS Lambda触发器与数据源。
• [operations]：数据操作模块，负责数据的清洗、转换等。
• [packaging]：有关部署包的管理。
• [reporters]：监控组件，用于收集并报告ETL过程中的指标。
• [transporters]：数据传输模块，支持不同的目标存储，如Firehose、S3、Elasticsearch等。

此外，还有**[docs]、[sample_configs]**等目录，分别存放项目文档和配置样例。

2. 项目的启动文件介绍

Bender作为一个服务端应用，并没有传统意义上的“启动文件”。但是，开发者通过配置Lambda函数来启动Bender。在本地开发测试时，可通过bender-cli.jar这个命令行工具进行模拟运行。例如，使用以下命令模拟Kinesis事件处理器：

java -jar bender-cli-1.0.0-SNAPSHOT.jar -c config.yaml -H KinesisHandler --source_file data.json

这里的config.yaml是配置文件，data.json是你想要处理的数据文件。

3. 项目的配置文件介绍

配置文件（如config.yaml）对于Bender至关重要，它定义了整个ETL流程。通常包括以下几个部分：

• Handler配置：定义事件的来源，如Kinesis Stream或S3。
• Deserializers设置：指定如何将输入流转换成对象，比如使用JSON反序列化。
• Operations列表：数据处理步骤，可以包含时间操作、字段名操作、数组处理等。
• Wrappers详情：添加额外元数据到输出数据之前。
• Serializers配置：定义如何序列化数据准备发送至目的地。
• Transporter信息：指定数据的最终去向，如Amazon S3、Elasticsearch等。

示例配置片段：

handler:
  type: KinesisHandler
sources:
  - name: MyStream
    source_regex: arn:aws:kinesis:region:account-id:stream/stream-name
    deserializer:
      type: GenericJson
operations:
  - type: SomeTransformOperation
transport:
  type: S3
  bucket: my-output-bucket

通过上述配置，您可以控制Bender的具体行为，实现定制化的ETL流程。务必参照项目的sample_configs目录下的具体例子，以理解不同配置项的功能和用法。

bender Bender - Serverless ETL Framework 项目地址: https://gitcode.com/gh_mirrors/bend/bender