kettle 多表查询大量数据同步 mysql 分页实现

最新推荐文章于 2024-08-19 08:15:54 发布
最新推荐文章于 2024-08-19 08:15:54 发布
阅读量1w 收藏 17
点赞数 7
分类专栏： 大数据 文章标签： kettle大量数据初始化 mysql分页 kettle分页同步数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chensirbbk/article/details/80760111
版权

版本

kettle7.0

mysql5.7

应用场景

在实际开发环境中，使用kettle同步的过程可能操作的数据非常大，几百万条，甚至上千万条。在这个过程中，如果使用kettle一次性同步数据的话，会出现内存溢出、GC未能及时释放，数据源脚本长时间无响应，在Linux下面甚至还出现：

Triggering heartbeat signal for 。。。 at every 10 seconds 这种情况的警告。

      综合上面的情况，kettle + 分页 实现数据同步是一种比较好的可选方案。

      在这种情况下使用mysql分页，建议大家放弃limit。

     下图是主要过程：


   1.设置变量：

    

2.检查字段值


3.使用javascript脚本验证


4.转换里面表输入的配置




翠花琳
关注
专栏目录
MySQL系列：注意临时表和表变量的用法
NIO4444
09-20 704
在复杂系统中，临时表和表变量很难避免，关于临时表和表变量的用法，需要注意： A、如果语句很复杂，连接太多，可以考虑用临时表和表变量分步完成。 B、如果需要多次用到一个大表的同一部分数据，考虑用临时表和表变量暂存这部分数据。 C、如果需要综合多个表的数据，形成一个结果，可以考虑用临时表和表变量分步汇总这多个表的数据。 D、其他情况下，应该控制临时表和表变量的使用。 E、关于临时表和表变量的选择，很多说法是表变量在内存，速度快，应该首选表变量，但是在实际使用中发现， (1)主要考虑需要放在临...
1.4 Kettle 数据同步工具详细教程
在路上的专栏
06-23 1773
Kettle，又名 Pentaho Data Integration（PDI），是一个开源的数据集成工具，最初由 Pentaho 公司开发。它能够从多种数据源提取、转换并加载（ETL）数据，适用于数据仓库建设、数据迁移和数据同步等场景。Kettle（Pentaho Data Integration）是一个功能强大且易于使用的数据集成工具，适用于多种数据处理和集成场景。其图形化界面和丰富的功能使其成为构建数据仓库、进行数据迁移和数据同步的理想选择。
kettle从入门到精通 第三十八课 kettle 分页全量同步（数据量大）
zhangjin1222的博客
02-02 711
5、计算offset步骤是javascript 步骤，这里通过一个for循环，将一条数据转换为多条数据，输出offset和currPage，最后通过SKIP_TRANSFORMATION 跳过for外层的进程。c、truncate_test_t2、query_test_t1_totalPage、循环抽数是三个转换步骤，每个转换步骤引用自己的具体实现转换文件。2、kettle分页全量同步示例依然基于test数据库，从t1表全量同步数据到t2表，由于t1表的数据比较大，所以选择分页全量同步策略，如下图所示。
kettle mysql 分页_kettle 分页抽数
weixin_33065899的博客
02-17 510
1】 分页2】变量设置 == 全局/局部3】查询总数据量，并设置变量SELECTcount(1) total_pageFROMdmlog_policy tWHERE 1=1and t.trans_status in ('0','3')and contractid between ${fromContractId} and ${toContractId}and riskCode = ${riskC...
kettle 数据同步使用记录
最新发布
一根火柴博客
08-19 229
使用 pentaho data integration(kettle) 对 sql server 数据库进行数据同步的方案及在这过程中遇到的问题记录。
kettle mysql 分页_使用Kettle动态生成页码并实现分页数据同步
weixin_32626635的博客
01-20 650
需求将 DB2 数据库中的表数据导入另一个 DB2 数据库的表里面。源表(DB2)：table1目标表(DB2)：table2数据量：千万级别思路当时直接使用 Kettle 将数据从源表导入到目标表中，但是考虑到数据量过于庞大，实际执行过程花费了很长时间，因此考虑采用分页导入的方式来进行数据传输，即：根据实际情况设置一个每次处理的数据量，比如：5,000条，然后根据总的数据条数和每次处理的数据量计...
kettle分页处理mysql_mysql kettle 分页
weixin_29310853的博客
01-27 229
# 下面sql实现去重，要求是is_confirmed=1 优先 # select is_confirmed from # (select is_confirmed from product_on_sale_info # group by is_confirmed # union # select null) # as a # order by is_confirme...
采用Kettle分页处理大数据量抽取任务
紫天专栏
04-11 4957
需求： 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表（Oracle）：table1 目标表（MySQL）：table2 数据量：20,000,000         思路： 由于服务器内存资源有限，所以，无法使用Kettle一次性从源表导入目标表千万级别的数据，考虑采用分页导入的方式来进行数据传输，即： 根据实际情况设置一个
kettle循环分页迁移数据的完整例子，一次迁移1w数据无压力
09-09
标题中的“kettle循环分页迁移数据的完整例子”指的是使用Kettle（Pentaho Data Integration，也称为ETL工具）进行数据迁移的一种方法。Kettle是一个强大的数据集成平台，它允许用户通过图形化的工作流设计来处理...
Kettle分页循环抽取全量数据,三步搞定
博客GordoHu
03-22 5150
Kettle分页抽取全量数据 , 适用于大数据量初次全量抽取转换.
kettle全量多表数据同步
05-06
XXXKETTLE全量多表数据同步 1 一. 建立资料库 3 1.1 添加资源库 3 二. 前期准备工作 7 2.1 异结构数据传输 7 2.2 数据校验 9 三. 建立转换 10 3.1 创建‘转换’（GET—ORACLE-TABLES） 10 3.1.1 创建数据源 10 3.1.2 添加核心对象 12 3.2 创建‘转换’（INSERT—MYSQL-TABLES） 15 3.2.1 创建数据源 15 3.2.2 添加核心对象 15 3.2.3 转换设置 17 四. 建立作业 18 4.1 创建‘ORACLE TO MYSQL’作业 18 4.2 添加核心对象 18 4.3 设置GET-TABLES 19 4.4 设置INSERT-MYSQL 23 五. 实验验证 28 5.1 ORACLE插入数据 28 5.2 执行JOB 29 5.3 MYSQL数据验证 30
使用Kettle同步mysql数据，增量同步
04-08
使用Kettle同步mysql数据，增量同步,两个数据库数据同步
kettle oracle循环分页迁移数据的完整例子，生成txt后FTP上传到远程服务器
11-29
kettle oracle循环分页迁移数据的完整例子，生成txt后FTP上传到远程服务器
kettle分页迁移数据
大勺哥的博客
01-19 4528
kettle分页迁移数据介绍个人开发环境软件架构安装教程使用说明 介绍 基于kettle开发的ETL数据迁移功能，具有分页功能，理论可稳定迁移大表。 kettle做数据库数据迁移的时候，如果数据库中的表过大（几十G，甚至更大），为避免kettle 出现OOM，笔者画了一个分页、增量的数据迁移流程。不过存在限制：增量更新需要数据库有最近更新时间字段 个人网上也搜了好久，始终没有找到完美的流程。最后笔...
kettle查询mysql
09-06
- *1* *2* *3* [kettle 多表查询大量数据同步 mysql 分页实现](https://blog.csdn.net/qq_36688928/article/details/93893730)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
利用kettle解决excel数据量过大卡顿问题
weixin_43454383的博客
03-31 8456
excel输入 excel输入可以有两种方式①是csv；②是xls。由于xls的行数不够，所以我一般用的csv输入 需要注意的点是: ①：注意数据输入的长度和格式，例如：日期格式·百分率·数据类型等等 2. 两个excel数据重合 ①：要想两个excel根据一定的主键将数据组合在一起就需要用到kettle的“排序记录”“记录集连接” 需要注意的是： a. 两个excel都要接排序记录，...
Kettle（五）分页抽取、插入数据
ACGkaka的博客
05-14 3056
需求： 将MySQL中的数据进行分页抽取； 将分页抽取的数据插入到另一个MySQL表中。 整体架构 第一步，build_query_page 查询所有的页码，将页码保存到结果； 第二步，set_values 从结果中获取页码，将页码设置为环境变量； 第三步，execute_by_page 从环境变量中获取页码，根据页码，循环获取每页数据并输出到表中。 1.主流程 transfer_table1_to_table2.kjb 2.页数查询 build_query_page.ktr 2.1 i..
kettle多表同步oracle数据
11-25
要实现kettle多表同步Oracle数据，可以使用Kettle工具中的相关组件和功能来完成。下面是一个简单的步骤： 1. 数据源配置：首先，在kettle中配置连接到Oracle数据库的数据源。通过在"数据库连接"组件中输入相关的连接信息，如主机名、端口号、用户名和密码等来建立与Oracle数据库的连接。 2. 数据抽取：在Kettle中使用"Table input"组件来抽取源表中的数据。在该组件中，选择连接到Oracle数据库的数据源，并指定要抽取的表名或查询语句。可以使用该组件的参数设置功能来进一步定义抽取数据的条件。 3. 数据转换：使用"Select values"、"Add constants"、"Replace in string"等组件来进行数据转换和处理。例如，可以将日期格式进行转换、对某些字段进行计算、添加常量字段等。这些转换步骤可以根据需要进行设置和调整。 4. 数据加载：在Kettle中使用"Table output"组件来将转换后的数据加载到目标表中。在该组件中，选择连接到Oracle数据库的目标表以及相关的字段映射。可以使用该组件的插入方式设置来选择插入新数据或更新已有数据。 5. 任务调度：在Kettle中创建一个任务调度，定义数据同步的周期和执行方式。可以设置定时触发，也可以通过外部事件触发，保证数据同步的持续性和准确性。 通过以上步骤的设置和配置，可以实现Kettle多表同步Oracle数据的功能。根据具体需求，还可以进行更复杂的数据转换和处理，来满足数据同步的要求。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值