Kettle是一个开源ETL工具,做数据仓库用Spoon。
工具:下载Spoon,解压即可用
1、认识常用组件:
表输入
插入\更新
数据同步
文本文件输出
更新
自动文档输出
表输出
列转行
增加常量
增加序列
排序记录
行转列
过滤记录
数据库连接
合并记录
排序合并
记录关联(笛卡尔输出)
记录集连接
分组
在内存中分组
2、第一个例子
生成 100 个随机数,随机数取值于[0,100)之间, 计算小于等于 50 的随机数个数和 大于50 的随机数个 数。 并把这两个统计数字放在数据库表的一行的两列中, 即输出的结果有一行,一行包括两列,每列是一个统 计值。
1.生成随机数,0-1区间内
2.定义常量,100
3.计算,随机数乘以100,使得生成的数据在0~100区间内
这里后面有分支,默认是数据分发,这里要保证数据全部都流到两条支路去要选择复制分发模式,在计算器这个步骤上面右键,选择数据发送,复制发送模式
4.条件判断有几种方法,这里用的是根据java代码过滤记录
5.分组计算总条数,4步中结果为真进分组1,否则分组2,分组里面计算总条数
6.关联记录
7.输出
3、数据仓库
目标:数据仓库就是把别的业务组的表查出来, 再转换, 保存到我们这边创建的新的业务表中。后续再开发接口(http、webservice、dubbo等)给别的组调用。
3.1用户评价表中有各种评价得分,这里对经纪人的各种得分求平均分保存到bidb_brance中