当前搜索:

【Kettle】job中设置自动发送邮件

背景:业务每周六需要固定格式的数据,手工跑脚本太麻烦,为了偷懒,设计了job,定时启动job,并把数据自动发送到对方邮箱。一   kettle服务器定时任务如下:每周六上午九点执行脚本调度job0 9 * * 6 source /etc/profile;/opt/program_etl/weekl...
阅读(3) 评论(0)

【Kettle】date类型不能被excel输出

背景:kettle7.0,连接PG9.6数据库,我想把查询出来的结果excel输出到本地。结果其他字段都可正常导出,唯独日期类型导出为空。最终解决办法:查询结果在输出之前要转换成文本或字符串类型。如果使用SQL写的表输入步骤,可以在SQL里做字段类型转换。如我的修改为:...
阅读(3) 评论(0)

【Kettle】Kitchen和Pan的命令行参数

参数语法:[/-]name [[:=]value]参数以斜线(/)或者横线(-)开头,后面跟参数名称。大部分参数后面都要有参数值。参数和参数值之间用冒号(:)或者(=)连接,参数值里面如果有空格,参数值必须用单引号或双引号引起来。Kitchen和Pan共有的参数如下:参数名参数含义作用norep ...
阅读(6) 评论(0)

【Kettle】作业和转换中的内置变量

在作业和转换参数中使用Kettle内置变量,可以更方便的工作。下面是Kettle中常用的内置变量:变量描述Internal.Kettle.Version这是kettle的版本号,比如4.0.0Internal.Kettle.Build.Version这是kettle源代码的SVN的修订号Inter...
阅读(24) 评论(0)

【MySQL-5.7】日期与时间类型

MySQL中的日期与时间类型,主要包括:YEAR、TIME、DATE、DATETIME、TIMESTAMP,下表中列出了这几种类型的属性。类型名称日期格式日期范围占用空间YEARYYYY1901 ~ 21551字节TIMEHH:MM:SS-838:59:59 ~ 838:59:59 3字节DATE...
阅读(27) 评论(0)

【Python-2.7】多种方式删除列表元素

1. pop():括号中不加参数表示删除列表最后一个元素,也可以加下标参数删除players = ['charles','martina','michael','florence','eli'] players.pop() print players运行结果如下:['charles', 'mart...
阅读(16) 评论(0)

【Python-2.7】如何判断对象是否为可迭代?

对于一个对象,如果可以通过for循环遍历它,那么就称这个对象为“可迭代”的。其实我们已经知道list和tuple类型是可迭代的,但是有没有一种方法可以直观的判断出来呢?这就用到了collenctions模块的Iterable类型。首先导入collections模块下的Iterable类型,然后通过...
阅读(38) 评论(0)

【Kettle】Win7启动Spoon.bat闪退

我遇到的情况:Win7系统安装完成Kettle7.1,安装了JDK1.8,启动spoon.bat文件出现一闪而过,不能正常启动Kettle。解决办法:打开spoon.bat文件,其中参数:if "%PENTAHO_DI_JAVA_OPTIONS%"==&...
阅读(57) 评论(0)

【PostgreSQL-9.6.8】序列

1. 创建序列语法:CREATE [ TEMPORARY | TEMP ] SEQUENCE name [ INCREMENT [ BY ] increment ] [ MINVALUE minvalue | NO MINVALUE ] [ MAXVALUE maxvalue | NO M...
阅读(58) 评论(0)

【PostgreSQL-9.3.17】CentOS-6.7安装PostgreSQL-9.3.17

安装CentOS-6.7过程略,完成安装后需要配置linux连接外网,因为需要yum安装缺少的安装包。Linux连接外网方法1. 下载源码包https://www.postgresql.org/ftp/source/v9.3.17/2. 创建postgres用户及dba组,创建soft目录,并修改...
阅读(52) 评论(0)

【Postgresql-9.6.8】触发器实例(记录增、删、改)

这个触发器的作用是:当对表中数据进行INSERT、DELETE、UPDATE时,同时更新另一张表中的相关字段。(此实例参考于PG官方文档)--主表 - 时间维度和销售事实。 create table time_dimension( time_key integer not null, day_o...
阅读(38) 评论(0)

【Linux】虚拟机中linux系统连接外网

参考如下文章:点击打开链接
阅读(76) 评论(0)

【PL/SQL】测试函数时,日期参数的输入格式

如果在PL/SQL中测试,输入格式为xxxx/xx/xx; 如果使用select function_name(xx,xx) from dual; 测试函数时,日期参数需要使用to_date('xxxx-xx-xx','YYYY-MM-DD') 或者date'xxxx-xx-xx' 进行类型转换。...
阅读(175) 评论(0)

【Kettle】crt中运行spoon.sh报错

安装完成kettle,启动spoon.sh时报错如下: [root@kettle data-integration]# ./spoon.sh org.eclipse.swt.SWTError: No more handles [gtk_init_check() f...
阅读(257) 评论(0)

【Hive】命令行提示符中显示当前所在数据库

Hive 0.8.0之后的版本开始支持此功能,可以在命令行中显示当前所在的数据库。 设置命令为:set hive.cli.print.current.db=true #设置前 hive> use default; OK Time taken: 0.102 seconds hive>...
阅读(197) 评论(0)

【Hive】Caused by: MetaException(message:Hive metastore database is not initialized. Please use schema

启动Hive报错如下: Caused by: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbTyp...
阅读(442) 评论(0)

【Hadoop】HDFS基本命令

1. 创建目录[grid@master ~]$ hadoop fs -mkdir /test2. 查看文件列表[grid@master ~]$ hadoop fs -ls / Found 3 items drwxr-xr-x - grid supergroup 0 2018-...
阅读(111) 评论(0)

【Hadoop】同步集群时间

转载:hadoop集群时间同步测试环境:192.168.217.130 master master.hadoop192.168.217.131 node1 node1.hadoop192.168.217.132 node2 node2.hadoop一、设置master服务器时间查看本地时间和时区[...
阅读(216) 评论(0)

【Hadoop】MapReduce

MapReduce是一个分布式计算框架,支持编写程序处理大数据集。 Hadoop 0.20.0以及之前版本,MapReduce由JobTracker和TaskTracker组成。JobTracker是运行在主节点上的后台进程,监听各个TaskTracker发来的心跳,包括资源使用情况和任务运行情...
阅读(124) 评论(0)

【Hadoop】HDFS数据复制

为了保证存储文件的可靠性,HDFS把文件分解成多个序列块,并保存数据块的多个副本。这对容错非常重要,当文件的一个数据块损坏时,可以从其他节点读取数据块副本。HDFS有“机架感知”策略放置文件副本,因为同一机架的带宽大于跨机架的带宽,所以在一个复制因子默认为3的系统中,HDFS会把备份一份保存在本地...
阅读(218) 评论(0)
    个人资料
    持之以恒
    等级:
    访问量: 10万+
    积分: 3131
    排名: 1万+
    友情链接