Kettle第一课

 

 

 工作快满三年，正式加入数据挖掘、商业智能分析的队伍中去，公司规模不算大，基本上数据仓库也是从零开始，包括我在内也就两人，本想写工具，也设计了方案，但是发现心有余力不足，接触下spoon下ETL工具kettle，入手的版本是current4.3.0 version，问题颇多，就data connection都有问题，然后采用ODBC的方式，下载http://search.oracle.com/search/search?q=ODBC&group=MySQL&x=0&y=0 mysql的ODBC CONNECTION，然后配置系统DSN，问题解决了，但是进入里面进行SQL Editor发现抛

 

An error occurred executing SQL: 
SELECT * FROM ass_admins LIMIT 100
Invalid Fetch Size

 

崩溃死了，国内资料稀缺，到stackoverflow找，同样太坑爹，后来根据网友资料去download源代码，竟然是3.2版本，看了下抛出异常的地段，感觉也没啥问题，纠结了半天。狠下心去下载低版本，同时也在想低版本的话，到时候也能通过源码能够解决下，确实高版本与低版本的差距很大。下了4.1 version，开始稳定了。今天跑了一个最基础的数据迁移的工作。

1.新建转换

2.建立Data Connection

3.新建表输入，新建表输出，拖入到视图页面

4.建立两者的hop信息

5.在表输入页面，SQL的查询；在表输出页面字段属性一一匹配

6.执行，查看日志信息