Kettle
文章平均质量分 53
大蚂蚁2号
这个作者很懒,什么都没留下…
展开
-
linux 删除所有kettle进程
kill -s 9 `ps aux | grep java | grep pentaho | awk '{print $2}'`原创 2021-05-01 15:53:34 · 1219 阅读 · 0 评论 -
kettle组件javaScript脚本案例3 生成新行
该案例是kettle自带例子,位置在安装目录下的data-integration\samples\transformations\JavaScript - create new rows.ktr转换作用说明:把一行数据Group1, Group2, Group3, Group4转换成四行数据Group1Group2Group3Group4组件Generate Rows,输入组件,生成测试数据组件Dummy (do nothing),空操作,拼接数据流,...原创 2020-12-04 10:45:11 · 1446 阅读 · 0 评论 -
kettle扩大运行内存
机器内存大,kettle却还是报错内存溢出,这时候可以尝试调整kettle的运行内存在windows中运行修改Spoon.bat文件中的参数PENTAHO_DI_JAVA_OPTIONS-Xms最小运行内存,-Xmx为最大运行内存,m为内存单位,也可以直接设置g为单位在linux中修改spoon.sh的参数PENTAHO_DI_JAVA_OPTIONS-XX:MaxPermSize=256mJVM最大允许分配的非堆内存,java8以上中已经移除了该参数,如果使用的jdk8以上可以把.原创 2020-12-04 09:42:07 · 6121 阅读 · 1 评论 -
kettle自定义拼接json格式输出,arcgis的json格式为例子
先上图,速度的话我跑了20万数据,16个字段,14000条/秒,机器是自己笔记本i5处理器,kettle给了4g内存1.源数据如下,field01字段可能有特殊字符,需要把字段field05的经度和纬度截取出来2.目标数据是arcgis的json格式数据,最后的拼接结果是一行数据并没有格式化,这里为了方便看{ "displayFieldName": "", "fiel...原创 2019-12-10 11:48:34 · 4769 阅读 · 0 评论 -
Linux下kettle安装和crontab定时任务
运行./pan.sh 后 .kettle目录会再配置的KETTLE_HOME目录下面生成,如果没有配置KETTLE_HOME这个目录会在当前用户家目录生成,.kettle目录下会生成kettle.properties,这个文件是用来配置kettle全局变量的,一般数据库连接ip地址,用户,密码都可以配置在这个文件,另外还可以覆盖kettle一些自带的变量值。crontab需要注意的一个是:比如设置每22分钟运行一次,那么会在每个小时0分钟,22分钟,44分钟运行,并不是每加22分钟运行一次。原创 2018-07-07 23:34:38 · 2023 阅读 · 1 评论 -
windows下kettle环境搭建
1.安装软件准备pdi-ce-8.2.0.0-342.zip,jdk-8u161-windows-x64.exe不同kettle需要不同版本的jdk支持,kettle8必须使用jdk8以上版本pdi-ce-8.2.0.0-342.zip下载https://sourceforge.net/projects/pentaho/files/Pentaho%208.2/client-too...原创 2019-04-03 11:17:33 · 3645 阅读 · 0 评论 -
kettle组件javaScript脚本案例1
javaScript脚本这个组件用处还是很方便的,比如:js脚本写起来很方便,不用像java脚本要有固定的代码块,输出字段也要写两遍;创建新行,一行变多行;使用java类;封装好了很多方法,字符串、日期、数字、文件操作相关常用的方法都封装好了;可以写多个javaScript脚本,自定义function,定义js全局变量;案例1:生成随机字符串.文件位置:$KETTL...原创 2019-06-26 16:36:45 · 7626 阅读 · 0 评论 -
kettle循环解决连接oracle数据库报错Connection reset
介绍两种循环方式,一种是官方自带例子,通过job组件执行每一行来循环,第二种通过javaScript脚本组件循环1.kettle8官方案例文件位置:$KETTLE_HOME/samples/jobs/process all tables这个例子是先获取数据库中的所有表名,统计表格表的数据条数,最后输出到txt上包含文件和作用:流程控制总jobtransformati...原创 2019-07-04 11:15:33 · 3217 阅读 · 3 评论 -
kettle组件javaScript脚本案例2 设置变量和获取变量
文件位置:$KETTLE_HOME/samples/transformations/data-generator/JavaScript - Access environment variables.ktr组件1:Generate Rows生成10行,没有列组件2:Java Script ValuegetVariable(strVarName, "")和setVariable...原创 2019-07-01 12:17:53 · 7619 阅读 · 0 评论