bentools-etl 使用教程

bentools-etl 使用教程

bentools-etlPHP ETL (Extract / Transform / Load) library with SOLID principles + almost no dependency.项目地址:https://gitcode.com/gh_mirrors/be/bentools-etl

项目介绍

bentools-etl 是一个基于 PHP 的 ETL（Extract, Transform, Load）库，旨在简化数据处理流程。该库遵循 SOLID 原则，并且依赖极少，非常适合需要在 PHP 项目中进行数据提取、转换和加载的开发者。

项目快速启动

安装

首先，通过 Composer 安装 bentools-etl：

composer require bentools/etl

基本使用

以下是一个简单的示例，展示如何使用 bentools-etl 进行数据处理：

use BenTools\ETL\EtlExecutor;

// 假设我们有一个歌手名字的数组
$singers = ['Bob Marley', 'Amy Winehouse'];

// 创建 ETL 执行器
$etl = (new EtlExecutor())
    ->transformWith(function (string $name) {
        // 将名字转换为大写
        return strtoupper($name);
    });

// 处理数据
$report = $etl->process($singers);

// 输出结果
var_dump($report->output); // 输出: ["BOB MARLEY", "AMY WINEHOUSE"]

应用案例和最佳实践

案例一：数据清洗

假设你有一个包含用户数据的 CSV 文件，需要将其中的用户名转换为大写并保存到数据库中：

use BenTools\ETL\EtlExecutor;
use BenTools\ETL\Extractor\CsvExtractor;
use BenTools\ETL\Loader\DatabaseLoader;

// 配置数据库连接
$dbConfig = [
    'driver' => 'pdo_mysql',
    'host' => 'localhost',
    'dbname' => 'test',
    'user' => 'root',
    'password' => 'password',
];

// 创建 ETL 执行器
$etl = (new EtlExecutor())
    ->extractWith(new CsvExtractor('users.csv'))
    ->transformWith(function (array $row) {
        $row['username'] = strtoupper($row['username']);
        return $row;
    })
    ->loadWith(new DatabaseLoader($dbConfig, 'users'));

// 处理数据
$etl->process();

案例二：数据聚合

假设你需要从多个 CSV 文件中提取数据，并将其聚合到一个新的 CSV 文件中：

use BenTools\ETL\EtlExecutor;
use BenTools\ETL\Extractor\CsvExtractor;
use BenTools\ETL\Loader\CsvLoader;

// 创建 ETL 执行器
$etl = (new EtlExecutor())
    ->extractWith(new CsvExtractor('file1.csv'))
    ->extractWith(new CsvExtractor('file2.csv'))
    ->transformWith(function (array $row) {
        // 进行数据转换
        return $row;
    })
    ->loadWith(new CsvLoader('aggregated.csv'));

// 处理数据
$etl->process();

典型生态项目

1. Doctrine DBAL

bentools-etl 可以与 Doctrine DBAL 结合使用，以便更方便地进行数据库操作：

composer require doctrine/dbal

2. Symfony Console

如果你正在构建一个命令行工具，可以考虑使用 Symfony Console 来管理你的 ETL 任务：

composer require symfony/console

3. PHPUnit

为了确保你的 ETL 流程的正确性，可以使用 PHPUnit 进行单元测试：

composer require --dev phpunit/phpunit

通过结合这些生态项目，你可以构建一个强大且易于维护的 ETL 系统。

bentools-etlPHP ETL (Extract / Transform / Load) library with SOLID principles + almost no dependency.项目地址:https://gitcode.com/gh_mirrors/be/bentools-etl