![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 63
Dragon online
我数据我快乐
展开
-
Linux部署调度工具xxl-job
所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库。 xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线,开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头。读后有疑问请加QQ群!作者个人qq:420773639。如内容有错欢迎大家指正!3. 部署maven环境。原创 2024-06-04 15:50:59 · 1181 阅读 · 1 评论 -
mysql日期格式说明
V:周(01-53)星期日是一周的第一天,与%X使用。%v:周(01-53)星期一是一周的第一天,与%x使用。%r:时间,12-小时(hh:mm:s5AM或PM)%X:年,其中的星期日是周的第一天,4位,与%V使用。%x:年,其中的星期一是周的第一天,4位,与%V使用。%T:时间,24-小时(hh:mm:ss)%U:周(00-53)星期日是一周的第一天。%u:周(00-53)星期一是一周的第一天。%d:月的天,数值(00-31)%e:月的天,数值(0-31)%m:月,数值(00-12)原创 2024-04-15 17:14:38 · 243 阅读 · 0 评论 -
kettle导出Excel文件报磁盘空间爆满处理方法
在导入导出数据到excel会在服务器生成.xml文件导致磁盘空间爆满kettle运行过程:查看磁盘使用情况:df -h发现磁盘空间爆满导致kettle过程报错,报错信息如下:解决办法:cd /tmplsrm -rf *.xml再次查看磁盘使用情况df -h问题解决,记录一下,生成的文件路径。...原创 2020-04-22 14:08:30 · 1086 阅读 · 1 评论 -
kettle使用gpfdist加载数据报错解决方法
1.gpfdist的使用gpfdist可以实现并行加载,需要先启动gpfdist进程及监听端口,这个命令在Master和Segment节点的GPHOME/bin目录下,如果配置了GP的环境变量,可以直接使用,如果在没有安装GP的服务器上使用gpfdist工具,只需要将gpfdist命令的文件拷贝到相应的服务器上即可使用。2.启动gpfdist服务nohup /home/gpadmin/gre...原创 2020-04-09 14:04:16 · 1086 阅读 · 1 评论 -
kettle(Pentaho Data Integration)-ETL及PDI概念介绍
什么是ETL抽取(Extract): ⼀般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据。这⼀部 分看上去简单⽽琐碎,实际上它是 ETL 解决⽅案的成功实施的⼀个主要障碍。转换(Transform): 任何对数据的处理过程都是转换。这些处理过程通常包括(但不限于)下⾯ ⼀些操作: 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派⽣值...原创 2019-09-07 11:44:03 · 4064 阅读 · 1 评论