pentaho data integration(kettle)连接hadoop2.2.0

pdi即kettle,支持hadoop的操作,但是默认支持的是hadoop0.2.0。但是由于我目前所用的是hadoop2.2.0,主要想用pdi来控制hadoop的作业调度。经过几天痛苦的试探过程,目前能够初步实现这个功能。

       经本人测试,按照下面修改之后,可以使用transformation中Big Data组件中的Hadoop File Input和Hadoop File Output组件,job中的Big Data组件中的Hadoop Copy Files,Hadoop Job Executor。其中使用Hadoop Job Executor时只用用simple方式,将eclipse导出的hadoop作业的jar包导入。

       凡是要使用到jobtracker的组件,都无法使用。估计hadoop1.x 版本应该完全没有问题。主要是因为hadoop2.x使用了YARN来控制资源调度。

       在data-integration/plugins/pentaho-big-data-plugin目录下,能够看到提供的默认支持的hadoop与pdi连接的插件。

       1.进入hadoop-configurations目录下,新建hadoop-2.2.0目录。

       2.将hadoop-20目录下的所有文件,复制到新建的hadoop-2.2.0目录下。

       3.清空hadoop-2.2.0/lib/client下的所有包 

       4.在hadoop的安装目录下的/share/hadoop目录下的jar(在各个子文件中找),复制到client目录下

       5.将hadoop-2.2.0/lib/pmr下的jar包删除,将zookeeper-3.4.5.jar包放入。(可在hadoop的安装目录下找到)

       6.修改配置文件

                 ~/data-integration/plugins/pentaho-big-data-plugin目录下找到plugin.properties文件。

               修改为active.hadoop.configuration=hadoop-2.2.0

       7.在~/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hadoop-2.2.0目录下,添加hadoop安装目录下的/etc/hadoop里面的core-site.xml,hdfd-site.xml,mapred-site.xml,yarn-site.xml,slaves等配置文件。

       8.之后重启spoon,即可。

转自https://blog.csdn.net/zhoudetiankong/article/details/17554755

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值