kettle
weixin_42333583
有啥好说的,还在学习阶段。
展开
-
使用kettle在大数据情况下出现内存溢出的情况处理方案
数据量太大,首先想到的办法就是分页执行,这一点oracle跟mysql不一样,mysql有limit语法,而oracle没有这个语法,oracle需要rownum并且需要别名嵌套才能实现limit的功能。如果使用分页循环,设置环境变量,然后在转换中获取环境变量,这种情况下整个流程是在一个job里面,kettle是运行在jvm中的,通过观察jvm的垃圾回收情况,发现,kettle中并未有堆回收(...原创 2020-04-16 18:55:10 · 2334 阅读 · 13 评论 -
jsoup 解析xml--适用于格式统一的dom解析
import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.select.Elements;import java.io.File;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statement;...原创 2019-04-17 23:19:39 · 501 阅读 · 0 评论 -
kettle传参的一个样例
kitchen.bat /norep -file=C:/Resposity/MAIN_JOB.kjb -level= Error -logfile=D:/logs.txt "-param:DATA_START_TIME=2019-10-01" "-param:DATA_END_TIME=2019-10-01" "-param:REP_PATH=C:/Resposity"加双引号可以传到文...原创 2019-08-14 13:48:02 · 604 阅读 · 0 评论