笔记
Dragon online
我数据我快乐
展开
-
mysql日期格式说明
V:周(01-53)星期日是一周的第一天,与%X使用。%v:周(01-53)星期一是一周的第一天,与%x使用。%r:时间,12-小时(hh:mm:s5AM或PM)%X:年,其中的星期日是周的第一天,4位,与%V使用。%x:年,其中的星期一是周的第一天,4位,与%V使用。%T:时间,24-小时(hh:mm:ss)%U:周(00-53)星期日是一周的第一天。%u:周(00-53)星期一是一周的第一天。%d:月的天,数值(00-31)%e:月的天,数值(0-31)%m:月,数值(00-12)原创 2024-04-15 17:14:38 · 220 阅读 · 0 评论 -
kettle导出Excel文件报磁盘空间爆满处理方法
在导入导出数据到excel会在服务器生成.xml文件导致磁盘空间爆满kettle运行过程:查看磁盘使用情况:df -h发现磁盘空间爆满导致kettle过程报错,报错信息如下:解决办法:cd /tmplsrm -rf *.xml再次查看磁盘使用情况df -h问题解决,记录一下,生成的文件路径。...原创 2020-04-22 14:08:30 · 1051 阅读 · 1 评论 -
kettle使用gpfdist加载数据报错解决方法
1.gpfdist的使用gpfdist可以实现并行加载,需要先启动gpfdist进程及监听端口,这个命令在Master和Segment节点的GPHOME/bin目录下,如果配置了GP的环境变量,可以直接使用,如果在没有安装GP的服务器上使用gpfdist工具,只需要将gpfdist命令的文件拷贝到相应的服务器上即可使用。2.启动gpfdist服务nohup /home/gpadmin/gre...原创 2020-04-09 14:04:16 · 1054 阅读 · 1 评论 -
kettle(Pentaho Data Integration)-ETL及PDI概念介绍
什么是ETL抽取(Extract): ⼀般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据。这⼀部 分看上去简单⽽琐碎,实际上它是 ETL 解决⽅案的成功实施的⼀个主要障碍。转换(Transform): 任何对数据的处理过程都是转换。这些处理过程通常包括(但不限于)下⾯ ⼀些操作: 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派⽣值...原创 2019-09-07 11:44:03 · 3641 阅读 · 1 评论