Bellboy 使用教程

Bellboy 使用教程

1. 项目目录结构及介绍

Bellboy 是一个高性能的 JavaScript 数据流 ETL 引擎。以下是项目的目录结构及其简要说明：

bellboy/
├── .github/          # GitHub 工作流目录
├── src/             # 源代码目录
│   ├── tests/        # 测试文件目录
│   └── ...          # 其他源代码文件
├── .dockerignore    # Docker 忽略文件
├── .gitignore       # Git 忽略文件
├── .npmignore       # npm 忽略文件
├── Dockerfile       # Docker 配置文件
├── LICENSE          # 项目许可证文件
├── README.md        # 项目说明文件
├── docker-compose.yml # Docker Compose 配置文件
├── jest.config.js   # Jest 测试配置文件
├── package-lock.json # npm 包版本锁定文件
├── package.json     # npm 包配置文件
├── tsconfig.json    # TypeScript 配置文件
└── tslint.json      # TypeScript 代码风格配置文件

2. 项目的启动文件介绍

项目的启动主要通过 bellboy 包中的 ExcelProcessor 和 PostgresDestination 类来实现。以下是启动文件的基本用法：

const bellboy = require('bellboy');
const fs = require('fs');
const path = require('path');

(async () => {
  const srcPath = `C:/source`;

  // 创建一个处理器实例，用于处理文件夹中的 Excel 文件
  const processor = new bellboy.ExcelProcessor({
    path: srcPath,
    hasHeader: true,
  });

  // 创建一个目标实例，将处理后的数据加载到 Postgres 数据库
  const destination = new bellboy.PostgresDestination({
    connection: {
      user: 'user',
      password: 'password',
      host: 'localhost',
      database: 'bellboy',
    },
    table: 'stats',
    recordGenerator: async function*(record) {
      yield {
        ...record.raw.obj,
        status: 'done',
      };
    },
  });

  // 创建一个任务实例，将处理器和目标连接起来
  const job = new bellboy.Job(processor, [destination]);

  // 添加事件监听器，如处理完成后的文件移动等
  job.on('endProcessingStream', async (file) => {
    const filePath = path.join(srcPath, file);
    const newFilePath = path.join('./destination', file);
    await fs.renameSync(filePath, newFilePath);
  });

  // 运行任务
  await job.run();
})();

3. 项目的配置文件介绍

项目的配置主要通过 package.json 文件来管理。以下是 package.json 文件的一些基本配置项：

• name: 项目的名称
• version: 项目的版本号
• description: 项目的描述信息
• main: 项目的入口文件
• scripts: 定义了项目的命令行脚本，如启动脚本、测试脚本等
• dependencies: 项目依赖的第三方包
• devDependencies: 项目开发依赖的第三方包
• peerDependencies: 项目推荐的第三方包

例如，以下是一个简化的 package.json 配置示例：

{
  "name": "bellboy",
  "version": "1.0.0",
  "description": "A highly performant JavaScript data stream ETL engine.",
  "main": "index.js",
  "scripts": {
    "start": "node index.js",
    "test": "jest"
  },
  "dependencies": {
    "bellboy": "^1.0.0"
  },
  "devDependencies": {
    "jest": "^26.6.3"
  }
}

通过以上介绍，您应该能够对 Bellboy 项目有一个基本的了解，并能够根据这些信息开始使用该项目。