Airbyte入门

Airbyte 后端技术栈
Java 17
框架:Jersey
API: OAS3
数据库:PostgreSQL
单元和E2E测试:JUnit 5
编排:Temporal
连接器技术栈
连接器可以用任何语言编写。但是,最常见的语言是:
Python3.9.0
Java 17
前端技术栈
Node.js 16
TypeScript
Web 框架/库:React
部署
部署Airbyte开源只需要两个步骤。
在您的工作站上安装 Docker。确保您使用的是最新版本的 .docker-compose
在终端中运行以下命令:
git clone https://github.com/airbytehq/airbyte.git
cd airbyte
docker compose up

一旦您看到Airbyte横幅,就可以在浏览器输入 http://localhost:8000 访问Airbyte了!系统将要求您输入用户名和密码,默认用户名和密码是 airbyte 和password,部署到服务器后,请务必在.env文件中更改默认用户和密码。

内部数据库

Airbyte 使用Postgres来存储内部状态和元数据。此数据由各种 Airbyte 组件存储和操作,但您可以通过以下两种方式管理此数据库的部署:
使用 Airbyte Docker 服务的默认 Postgres 数据库:。docker-compose.ymlairbyte/db
通过专用的自定义 Postgres 实例。在Docker或Kubernetes上部署关键任务数据库不是一个好的做法。 使用专用实例将为您的 Airbyte 部署提供更高的可靠性。 此外,使用云托管的 Postgres 实例(例如 AWS RDS 我们的 GCP 云 SQL),您将受益于自动备份和细粒度大小调整。您可以从一个非常小的实例开始,但根据您的 Airbyte 使用情况,如果不截断作业历史记录,作业数据库可能会增长并需要更多存储空间。airbyte/dbdocker-compose.yml
各种实体持久保存在两个内部数据库中:
作业数据库有关 Airbyte 作业和各种运行时元数据执行的数据。
有关 Airbyte 使用的内部业务流程协调程序的数据,http://Temporal.io(任务、工作流数据、事件和可见性数据)。
配置数据库连接器、同步连接和各种 Airbyte 配置对象。
注意:管道传输的实际数据永远不会保留在此内部数据库中
请注意,源(或目标)连接器中的实际数据永远不会传输或保留在此内部数据库中。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
是的,你可以使用 axios 发送 POST 请求来调用 Airbyte 的 API。Airbyte 的 API 遵循 RESTful 设计原则,因此你可以使用 axios 来发送 POST 请求,并在请求体中携带必要的数据。 以下是一个示例代码,展示如何使用 axios 发送 POST 请求调用 Airbyte 的 API: ```javascript const axios = require('axios'); // 设置 Airbyte API 的基本 URL const baseURL = 'https://your-airbyte-api-url.com/api/v1'; // 设置要调用的具体 API 路径 const apiPath = '/connections'; // 设置要发送的请求数据 const requestData = { // 根据 API 的要求设置请求数据 }; // 发送 POST 请求 axios.post(baseURL + apiPath, requestData) .then(response => { console.log(response.data); }) .catch(error => { console.error(error); }); ``` 在上述示例代码中,我们首先引入了 axios 库,并设置了 Airbyte API 的基本 URL (`baseURL`) 和要调用的 API 路径 (`apiPath`)。你需要将这些值替换为实际的 Airbyte API 的 URL 和路径。 然后,我们设置了要发送的请求数据 (`requestData`)。根据 Airbyte API 的要求,你需要提供相应的请求数据。请根据具体的 API 文档或需求来设置这些数据。 最后,我们使用 axios 的 `post` 方法发送 POST 请求,并将基本 URL、API 路径和请求数据作为参数传递。在成功响应后,我们打印出响应数据;在请求出错时,我们打印出错误信息。 通过以上步骤,你可以使用 axios 发送 POST 请求来调用 Airbyte 的 API,并根据需求设置请求数据和处理响应。请确保替换示例代码中的 URL、路径和请求数据为实际的值,并在发送请求前进行必要的身份验证或其他配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值