kettle数据库查询节点

上篇文章回顾:

上篇文章主要讲了如何通过文件操作节点从本地文件中来获取数据。本篇将讲解如何从数据库中来获取数据,通过采用“表输入”节点,从mysql数据库和postgresql数据库中获取数据,来充分的展示kettle的能力。

获取mysql数据:

最终展示结果如下:

 配置表输入节点:

配置数据库连接:按照如图的顺序进行配置即可。

数据库配置成功如下图:

获取sql语句:

执行结果查看技巧:性能指标

预览结果:

获取postgresql数据:

postgresql数据库的获取方式和mysql的类似,只是数据库连接方式配置不一样,如下图:

最终执行结果如下:

总结:

本篇主要讲了如何从数据库中获取数据,通过mysql和postgresql两种数据库进行了讲解。当然除了这两种数据库,还有其他类型的关系型数据库,非关系型数据库等,这个可以自行通过阅读文档进行实验。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Kettle 中使用 MySQL 数据库集群与使用单节点 MySQL 数据库并没有太大的区别。只需要在连接 MySQL 数据库时,将连接地址改为 MySQL 集群的负载均衡地址即可。负载均衡地址可以是一个虚拟 IP 地址,或者是一个域名,由负载均衡器来实现请求分发。 当然,如果 MySQL 集群采用了多主模式,即多个 MySQL 节点都可以同时处理写请求,那么需要在 Kettle 中采用分布式事务来保证数据的一致性。具体操作可以参考以下步骤: 1. 在 MySQL 集群中创建一个名为 `trans_test` 的数据库,并在其中创建一个名为 `test` 的数据表,包含 `id` 和 `name` 两个字段。 2. 在 Kettle 中创建一个 Transformation,将一个 CSV 文件中的数据导入到 `test` 表中。其中,CSV 文件的路径为 `/opt/data/test.csv`,数据表的 JDBC 连接 URL 为 `jdbc:mysql://负载均衡地址/trans_test`,用户名和密码为 MySQL 数据库的用户名和密码。 3. 在 Transformation 中添加一个 Transaction 控件,用于实现分布式事务。具体步骤如下: a. 在 Transformation 中添加一个 Database Connection 控件,用于连接 MySQL 数据库。 b. 将 CSV 文件中的数据通过一个 Insert / Update 控件插入到 `test` 表中。在 Insert / Update 控件的属性面板中,选择 `trans_test` 数据库,输入 `INSERT INTO test(id, name) VALUES (?, ?)` 作为 SQL 语句,然后将 `id` 和 `name` 两个字段分别映射到 CSV 文件中的对应字段。 c. 将 Database Connection 控件和 Insert / Update 控件都拖拽到 Transaction 控件内部,形成一个事务。 4. 保存并执行 Transformation,观察数据是否正确插入到 MySQL 集群中。 需要注意的是,由于 MySQL 集群中的不同节点之间存在数据同步的延迟,因此在进行读操作时需要考虑到这一点。如果需要保证读操作的数据一致性,可以采用 MySQL 提供的读写分离功能,将读操作分发到只读节点上。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qingxinziran007

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值