ETL
文章平均质量分 77
Syn良子
这个作者很懒,什么都没留下…
展开
-
Pentaho Kettle 6.1连接CDH5.4.0集群
作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 欢迎转载 最近把之前写的Hadoop MapReduce程序又总结了下,发现很多逻辑基本都是大致相同的,于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的Pentaho Kettl原创 2017-08-31 17:47:55 · 1111 阅读 · 0 评论 -
Kettle实现MapReduce之WordCount
作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 欢迎转载抽空用kettle配置了一个Mapreduce的Word count,发现还是很方便快捷的,废话不多说,进入正题.一.创建Mapper转换如下图,mapper读取hdfs输入,进行word的切分,输出每个word和整数常量值 1>MapReduce Input:Mapper输入,读取HDFS上原创 2017-08-31 17:48:05 · 676 阅读 · 0 评论