解决WebSpoon9.0无法连接Hadoop集群的问题

接上级命令，最近再搞一个kettle的集成工具webspoon9.0，具体部署方法可以见主页之前的文章，在后期测试过程中，遇到了一些问题，本篇文章主要记录如何解决无法连接hadoop集群的问题。

问题描述：在连接Hadoop集群的过程中，Vendor shim下拉选项为空，该选项又是必填项，很无奈…

Shim是Pentaho开发的插件，功能有点类似于一个适配器，帮助用户连接Hadoop。Pentaho定期发布Shim，可以从sourceforge网站下载与Kettle版本对应的Shim安装包。使用Shim能够连接不同的Hadoop发行版本，如CDH、HDP、MapR、Amazon EMR等。当在Kettle中执行一个大数据的转换或作业时，缺省会使用设置的Active Shim。初始安装Kettle时，并没有Active Shim，因此在尝试连接Hadoop集群前，首先要做的就是选择一个Active Shim，选择的同时也就**了此Active Shim。设置好Active Shim后，再经过一定的配置，就可以测试连接了。

经过网上的一翻查找后，大多数都是以下的解决方法：

对不起，webspoon9.0的工具菜单中并没有【Hadoop Distribution…】选项，最终该方法以失败告终。

症状	一般缘由	通用解决方法
Shim和配置问题
No shim	没有选择shim。shim安装位置错误。plugin.properties 文件中没有正确的shim名称。	检查plugin.properties文件中active.hadoop.configuration参数的值是否与pentaho-big-data-plugin/hadoop-configurations下的目录名相匹配。确认shim安装在正确的位置（缺省安装在Kettle安装目录的plugins/pentaho-big-data-plugin子目录下）。参考Pentaho “Set Up Pentaho to Connect to a Hadoop Cluster”文档，确认shim插件的名称和安装目录。
Shim doesn’t load	没有安装许可证。Kettle版本不支持装载的shim。若是选择的是MapR shim，客户端可能没有正确安装。配置文件改变致使错误。	参考Pentaho “required licenses are installed”文档，验证许可证安装，而且确认许可证没有过时。参考Pentaho “Components Reference”文档，验证使用的Kettle版本所支持的shim。参考Pentaho “Set Up Pentaho to Connect to an Apache Hadoop Cluster”文档，检查配置文件。若是链接的是MapR，检查客户端安装，而后重启Kettle后再测试链接。若是该错误持续发生，文件可能损坏，须要从Pentaho官网下载新的shim文件。
The file system’s URL does not match the URL in the configuration file	*-site.xml文件配置错误	参考Pentaho “Set Up Pentaho to Connect to an Apache Hadoop Cluster”文档，检查配置文件，主要是core-site.xml文件是否配置正确。
Sqoop Unsupported major.minor version Error	在pentaho6.0中，Hadoop集群上的Java版本比Pentaho使用的Java版本旧。	验证JDK是否知足受支持组件列表中的要求。验证Pentaho服务器上的JDK是否与Hadoop集群上的JDK主版本相同。
链接问题
Hostname does not resolve	没有指定主机名。主机名/IP地址错误。主机名没有正确解析。	验证主机名/IP地址是否正确。检查DNS或hosts文件，确认主机名解析正确。
Port name is incorrect	没有指定端口号。端口号错误。	验证端口号是否正确。确认Hadoop集群是否启用了HA，若是是，则不须要指定端口号。
Can’t connect	被防火墙阻止。其它网络问题。	检查防火墙配置，并确认没有其它网络问题。
目录访问或权限问题
Can’t access directory	认证或权限问题。目录不在集群上。	确认链接使用的用户对被访问的目录有读、写、或执行权限。检查集群的安全设置（如dfs.permissions等）是否容许shim访问。验证HDFS的主机名和端口号是否正确。
Can’t create, read, update, or delete files or directories	认证或权限问题。	确认用户已经被授予目录的执行权限检查集群的安全设置（如dfs.permissions等）是否容许shim访问。验证HDFS的主机名和端口号是否正确。
Test file cannot be overwritten	Pentaho测试文件已在目录中。	测试已运行，但未删除测试文件。须要手动删除测试文件。检查Kettle根目录下logs目录下的spoon.log文件中记录的测试文件名。测试文件用于验证用户能够在其主目录中建立、写入和删除。

查阅了各种文档，也做了很多尝试，后面通过对比发现kettle客户端版本有【Add driver】的选项，见下图：

于是我尝试通过客户端上传Shim，然后找到对应的上传目录，我把对应的目录复制到webspoon的bin目录下，哦豁，竟然可以了。。。

webspoon目录如下：

最终成功：