kettle学习笔记

一 引擎(执行转换及作业的两个main类)

1 数据如何封装

 

2 转换及作业的区别,与ESB引擎的区别

 

★(1)转换的性质: 

    节点连接决定了贯穿在步骤之间的数据流，步骤之间的顺序不是转换执行的顺序。当执行一个转换时，每个步骤都以自己的线程启动，并不断的接受和推送数据。

 

注意：所有的步骤是同步开启和运行的，所有步骤的初始化的顺序是不可知的。因为我们不能在第一个步骤中设置一个变量，然后在接下来的步骤中使用它。

 

    在一个转换中，一个步骤可以有多个连接，数据流可以从一个步骤流到多个步骤。在Spoon中，hops就想是箭，它不仅允许数据从一个步骤流向另一个步骤，也决定了数据流的方向和所经步骤。如果一个步骤的数据输出到了多个步骤，那么数据既可以是复制的，也可以是分发的。

 

转换文件的扩展名是.ktr

 

★(2)作业的性质: 

Jobs（工作）是基于工作流模型的，协调数据源、执行过程和相关依赖性的ETL活动

 

工作文件的扩展名是.kjb

 

 

3 事务与并发的实现

4 运行引擎的实现逻辑

 

二 设计器(生成转换或作业提交到资源库或保存到文件)

1 生成的转换或作业资源的格式

2 上下节点的类型如何复用

3 如何快速地通过UI找到对应的实现类

4 插件的架构体系

 

三 资源库

1 资源库的部署及管理方式

 

四 集群架构与产品形态

1 产品形态

2 集群部署

3 如何实现负载均衡

 

五 kettle管控API   

 

六 kettle日志系统

 

七 kettle构建原理,ivy知识相关

 

八 杂项:

/carte启动时会读取启动路径下的repository.xml文件,如果当前路径没骨,则读取.kettle目录下面的. carte的转换或作业里会使用资源库的名字,所以在repository.xml文件里必需要有一个对应的资源库的名字.一般是将.kettle中的copy的carte启动路径下.

 

/kettle元数据

 

/源码分析:

1 Pentahon XUL Framework

2 平台扩展与插件扩展的区别与联系

 

/扩展kettle

 

/....no better than....:前面的不如后面的

 

http://f.dataguru.cn/thread-185101-1-1.html 插件开发网上资料

 

/帮助文档:

(1)核心插件

(2)外部插件

(3)产品包相对位置能否访问

(4)链接能否访问

 

 

文档编写尝试: 锚,用esb文档尝试

 

 

MQ:

/网站资料

http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.csqzaw.doc/ja10290_.htm?cp=SSFKSJ_7.0.1%2F0-25-4-0-3&lang=en

 

/关于SSL

If you require SSL connections to use cryptographic modules that have been FIPS 140-2 certified, you need the IBM® Java JSSE FIPS provider (IBMJSSEFIPS). Every IBM JDK and JRE at Version 1.4.2 or later contains IBMJSSEFIPS.

 

/WMQ java API 相关jar

(1)WebSphere MQ classes for Java are contained in the Java archive (JAR) files, com.ibm.mq.jar, and com.ibm.mq.jmqi.jar.

(2)Support for standard message headers, such as Programmable Command Format (PCF), is contained in the JAR file com.ibm.mq.headers.jar.

(3)Support for Programmable Command Format (PCF) is contained in the JAR file com.ibm.mq.pcf.jar.

(4)sample: The sample application called Postcard is in the JAR file com.ibm.mq.postcard.jar. For more information about this application, see the Quick Beginnings information for your operating platform.

 

(5)Installation directories for WebSphere MQ classes for Java

HP-UX, Linux, and Solaris/opt/mqm/java/lib

 

Windows

install_dir\Java\lib (32 bit libraries)

install_dir\Java\lib64 (64 bit libraries)

 

(6)ample applications

HP-UX, Linux, and Solaris/opt/mqm/samp/wmqjava/

Windowsinstall_dir\tools\wmqjava\

 

/相关问题：

./queue manager - server connection channel - a listener program

 

./连接权限问题: user ID ... 

The authority to connect to the queue manager, and the authority to inquire on the attributes of the queue manager object

The authority to put messages on the queue SYSTEM.DEFAULT.LOCAL.QUEUE, and the authority to get messages from the queue

 

./trace facility

http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.csqzaw.doc/ja10420_.htm?cp=SSFKSJ_7.0.1%2F0-25-4-2-2&lang=en

 

./MQProcess

http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.javadoc.doc/WMQJavaClasses/com/ibm/mq/MQProcess.html?lang=en

 

/接口文档

http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.javadoc.doc/WMQJavaClasses/index.html?cp=SSFKSJ_7.0.1%2F0-25-4-6&lang=en

 

/试用版下载:

https://www14.software.ibm.com/webapp/iwm/web/pick.do?source=ESD-WSMQ-EVAL&S_PKG=CR9H9ML&S_TACT=109J84RW&lang=en_US

 

/发布与订阅学习:

./

非持久订阅会在应用程序关闭,或者订阅关闭,过期,被删,或者QM停止或重启时失效

 

./

MQSO_MANAGERD: 动态创建与订阅持久性一致的订阅队列,队列名包含时间戳，不会重名

★: 如果像AMQ输入一样,需要指定订阅队列,那么就与访问普通队列一样了,主题订阅的意义就没了

 

./

创建持久订阅需要指定一个订阅名,当要resume一个持久订阅时,使用MQSO_RESUME选项

★在创建持久订阅时指定MQSO_PUBLICATIONS_ON_REQUEST,使得只在订阅者请求订阅时,发布的消息才能转发到订阅队列

 

./

非持久订阅的周期是应用程序与QM的连接周期

当应用程序与QM断连后,存在于订阅队列的消息取决以下面两种情况:

(1)如果使用Managed queue,那么会被消除

(2)如果创建非持久订阅时指定订阅队列句柄,那么消息还会保留在指定的订阅队列里

 

★创建非持久订阅不需要订阅名

 

./

topic string 和 topic object:

(1)两者关系: topic stirng + / + object string = topic name

(2)topic stirng 是可以用通配符的,应该是已存在的,可以为空

(3)object string 不可以用通配符,应该是由应用程序提供,也可以为空

★好像说是创建发布与创建订阅都会自动生成主题

 

./

administrative topic object

用于对特定的主题节点进行管理,因为如果不创建主题对象,那么主题节点的属性都是继承于SYSTEM.BASE.TOPIC的

 

★并且,topic object的名字可于与主题字符串/主题名等价地使用,比如说指定对应的主题

详细见下:

http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.amqnar.doc/ps12490_.htm?cp=SSFKSJ_7.0.1%2F0-16-1-4-3&lang=en

 

 

链接: http://pan.baidu.com/s/1pJyUsdl

 

 

一 需求分析:

1 源表列: 更新时间戳(必需,可能为timestamp或datetime类型),  插入时间戳(可选,用于区分记录变化是插入还是更新),  逻辑删除字段(可选,用于识别记录是否被逻辑删除)

 

2 界面:

(1)提供一张源表

(2)指定增量状态表

(3)配置主键字段

(4)配置更新时间戳字段

(5)可选配置插入时间戳字段

(6)可选配置逻辑删除字段

(7)是否修改主键

 

■4 后台初始化:

 

■3 后台执行:  从源表中捕获变化数据记录,并给记录增加操作字段:

(1)