Kettle连接Hadoop clusters 报错
Kettle连接Hadoop 踩坑
记录一下自己Kettle连接Hadoop 的踩坑过程,以备后查。
hadoop环境
云虚拟机安装hadoop3.2,hbase2.2.6
9.1与8.2的区别
用Kettle9.1创建hadoop clusters时老是无法成功,草草查看了一下官方文档,貌似9.0以前的shim无法用于9.1的版本,因为翻q访问实在太慢,最终没有找到下载适配版本shim的地方,无奈放弃。
8.2连接hadoop
- 将服务器上*-site.xml文件覆盖到pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30下
- 用服务器上相应版本的jar驱动覆盖pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib、
pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client、pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\pmr版本 - 修改plugin.properties 中 active.hadoop.configuration,指向对应shime(hdp30)
- 启动spoon,在