Kettle分页循环抽取全量数据,三步搞定

已于 2023-03-28 14:46:17 修改
阅读量4.8k 收藏 23
点赞数 3
分类专栏： ETL 文章标签： 数据库 mysql etl
于 2023-03-22 14:37:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GordoHu/article/details/129703977
版权

Kettle分页抽取全量数据 , 适用于大数据量初次全量抽取转换.

后续可再增加作业和转换,根据动态时间范围增量抽取转换...这篇先说全量的.
 

完整流程作业图如下:  (后续会拆解梳理每步流程)

 

  • 主要步骤如下: 有3步

         第一步: 把需要用到的源数据DB和目标数据DB连接准备好,没啥好说的;如下图

        第二步: 创建(获取源数据页数)转换: 主要获取源数据表中按5000条分页的

最低0.47元/天 解锁文章
GordoHu
关注
  • 3
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
如何通过Kettle获取接口数据并将记录导入数据库（包括分页）
zkx990121的博客
12-16 7579
获取接口数据导入数据库 接口中的数据一般为[JSON格式](https://baike.baidu.com/item/JSON/2462549?fr=aladdin)，详情可点击查看。 下面进入正题，大致为下图所示 （1）HTTP client （2） JSON input
Kettle变量和参数介绍系列文章3-循环的轻松实现
m0_69586799的博客
09-21 3869
本文详细说明两种实现循环操作的方法，0编程经验的人也可以看懂，使用Kettle做数仓工具的可以看一下。
kettle动态分页与循环抽取大数据
06-22
利用kettle实现动态计算当前页码以及总页数，循环抽取大数据级数据到目标数据库中；
采用Kettle分页处理大数据量抽取任务
紫天专栏
04-11 4907
需求： 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表（Oracle）：table1 目标表（MySQL）：table2 数据量：20,000,000         思路： 由于服务器内存资源有限，所以，无法使用Kettle一次性从源表导入目标表千万级别的数据，考虑采用分页导入的方式来进行数据传输，即： 根据实际情况设置一个
再谈kettle两种循环之--调用http分页接口循环获取数据
weixin_43398232的博客
06-26 1052
总结：循环的设计可以解决循环1内存溢出的问题，该设计关键在于需要在job中勾选GET_HOUSE_DATA转换的两个勾以及设置参数传递（Options 下的Execute every input row和Parameters下的Copy results to parametes）循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考。表输入：这里采用数据库连接，运用sql的方式生成http接口调用信息，框出来部分是循环变量替换的关键设置。
银行数仓项目实战（三）--使用Kettle进行增量，全量抽取
qq_31727471的博客
06-18 566
我们在目标表中添加了NEWDATE这一行代表上次抽取的时间，上次抽取的时间有很多，可以用MAX（NEWDATE）选择距离我们上次抽取最近的时间。我们之前全量抽取的时候，设置了上一次的抽取时间为newdate，我们判断新记录可以选择一个字段判断增量，在这个表中，无疑使用hiredate（入职时间）是最佳选择。我们进行增量抽取的时候，只需要判断每一条数据中的hiredate是否大于上一次的抽取时间，如果大于说明是新数据，需要抽取。一般只有项目初始化的时候会使用到全量抽取，全量抽取的效率慢，抽取的数据量大。
【ETL实战】kettle分批读取大表数据
wenchun001的博客
05-27 1887
【ETL实战】kettle分批读取大表数据，发现kettle非常占用内存，排查服务器资源情况，发现是polkitd进程
kettle处理大数据量表-分页抽取数据
hzp666的博客
12-01 4933
概述： 总job，分三步，第一：先清空目标表； 第二，根据源表总的数据行，结合服务器配置 kettle每次能抽取插入多少行，算出需要分n次抽取，并生成1到n的序列值列表。 ps:生成1、2、3...n 的数据列，然后把每个值赋值给变量var_page, 根据var_page的值分页查询。 第三，根据第二步 生成的1、2、3...n的数据列，为每行都执行一次表插入，即实现分n次抽取数据插入。 在每次的执行中都根据变量，select 出对应的数据，进行表...
kettle分页抽取数据
小野爸爸的博客
01-08 1441
基于以上场景，通过java代码实现其实相当简单，做一个mysql分页，1000条匹配一次，但是用kettle还从来没做过分页，于是乎开始百度，但是大部分博主给的是错的，主要在变量部分，同一个转换中，“设置变量”后再通过${xx}获取变量值是获取不到的，必须跨转换才行，真的是比较奇怪。3.输出oaids，根据上一步的ids，查询oracle库的异常数据，并将异常数据输出到最开始建的表中。
使用Kettle循环处理数据（方式一）
x²＋(y－√³x²)²＝1的博客
12-10 3596
1、loop1_step1转换流程： 详细配置如下： （1）“从结果获取记录”组件 “字段名称”需要手动填写 （2）“设置变量”组件： 只有在点击“获取字段”时，变量名才会是大写的 2、loop1_step2转换流程： 详细配置如下： （1）“表输入”组件： （2）“表输出”组件 3、loop1_job1作业流程： 详细配置如下： （1）“转换”1组件： （2）“转换”2组件： 4、loop1_step3转换流程： 详细配置如下： （1）“Excel输入”组件： （2）“复制记录到结果”
kettle分页抽取、插入实现.zip
05-14
kettle分页抽取、插入实现.zip
Kettle循环获取结果集中的数据并传入转换里面
01-08
1. Kettle循环获取结果集并传入转换里面 是Kettle循环转换（t1.ktr）中的结果集，放到转换2（var.ktr）中，输出到本地txt文件中 1.1 job j1.kjb JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果 if (prevRow == null &&(prevRow.size()=0)) { false; }else{ parent_job.setVariable(tables, prevRow);//ArrayList存储表名变量，以数组形式保存入table1，tabl
kettle循环抽取表数据.zip
11-10
通过kettle循环抽取整库数据至CSV文件，可根据该程序修改抽取至数据至数据库等。
再谈kettle两种循环之-调用http分页接口循环获取数据
最新发布
06-26
本文将深入探讨“再谈kettle两种循环之-调用http分页接口循环获取数据”这一主题，旨在提供对循环Job、变量运用、调用HTTP分页接口、生成连续记录以及MD5加密等知识点的详细理解和实践指导。 首先，Kettle中的循环...
使用kettle实现多表数据全量抽取.rar
11-27
标题中的"使用kettle实现多表数据全量抽取"表明我们将通过Kettle来处理多个数据库表的数据，假设这些表在结构上是完全相同的。这可能涉及到企业内部多个业务系统的数据整合，以获取全局视角。 描述中提到的前提是...
Kettle实现多表数据全量抽取
01-28
【标题】"Kettle实现多表数据全量抽取"涉及的主要知识点是Kettle（Pentaho Data Integration，简称PDI）工具在数据处理中的应用，尤其是如何进行多表数据的同步与更新。Kettle是一款开源的数据集成工具，以其强大的...
Kettle（五）分页抽取、插入数据
ACGkaka的博客
05-14 2822
需求： 将MySQL中的数据进行分页抽取； 将分页抽取的数据插入到另一个MySQL表中。 整体架构 第一步，build_query_page 查询所有的页码，将页码保存到结果； 第二步，set_values 从结果中获取页码，将页码设置为环境变量； 第三步，execute_by_page 从环境变量中获取页码，根据页码，循环获取每页数据并输出到表中。 1.主流程 transfer_table1_to_table2.kjb 2.页数查询 build_query_page.ktr 2.1 i..
Kettle实现循环功能！！！
像豆芽一样优秀
08-11 9140
Kettle实现循环功能！！！ 一、结果图 通过启动循环程序，点击确定弹出窗口的确定按钮，依次弹出“张三”、“李四”、“王五”，实现了简易的循环功能。 二、流程图 通过自定义“张三”、“李四”、“王五”的三条数据，依次执行该程序，达到循环的功能实现。 三、各个组件解析 通过组件 “自定义常量数据” 定义三条数据，将数据复制到结果中。 （1）、定义三个字段 （2）、填入数据（几条数据循环几次，这个值也可以通过变量实时变动，比如一个数据库有几张表） 通过 “复制记录到结果” （后续可以通过 ${F
kettle 循环抽取表数据
08-02
在Kettle中循环抽取表数据的步骤如下： 1. 首先，你需要创建原始表和目标表。原始表可以是school和school1，目标表可以是school_kettle和school1_kettle。这些表需要在Kettle中提前建好。 2. 第二步是使用分页行号节点来获取分页的数值。你可以使用以下SQL语句来实现这一步骤： ``` SELECT a.rownum FROM (SELECT @rownum:= @rownum + 1 AS rownum, m.* FROM (SELECT @rownum := 0) t,`palm_clinic_payment_bill` m) a WHERE a.rownum <= ? ``` 这个SQL语句会返回分页的行号。 3. 如果你获取不到字段或者字段比较多，可以使用一个小技巧。将上一步的分页查询的SQL中的变量替换成数字1，表示查询第一页。这样你可以直接运行这个SQL语句，然后在表输出的时候获取全部的字段。这样就不用一个个选择字段了。在填写数据库字段、表字段和流字段时，记得将上一步的SQL还原。 这样，你就可以在Kettle中循环抽取表数据了。希望对你有帮助！\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [使用Kettle循环处理数据（方式一）](https://blog.csdn.net/qq_45083975/article/details/121848746)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v12^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Kettle分页循环抽取全量数据,三步搞定](https://blog.csdn.net/GordoHu/article/details/129703977)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v12^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值