pentaho-hadoop-cdh3u0配置

最新推荐文章于 2022-06-03 17:10:42 发布

superye1983

最新推荐文章于 2022-06-03 17:10:42 发布

阅读量3.9k

点赞数 1

分类专栏： pentaho BI

本文链接：https://blog.csdn.net/superye1983/article/details/8781796

版权

在配置Pentaho Data Integration（Kettle）4.4与CDH3u0 Hadoop集成时遇到错误，尝试将hadoop-core JAR复制到指定目录未成功。最终解决方案是替换$PDI_HOME/plugins/pentaho-big-data-plugin/hadoop-configurations/hadoop-20/lib下的hadoop-core0.20.2 JAR为CDH3u0的JAR，从而解决了文件拷贝到HDFS的问题。此外，解决了一个WARN提示，通过将hadoop-core JAR拷贝到$PDI_HOME/libext/pentaho目录下，消除了找不到配置文件的警告。

摘要由CSDN通过智能技术生成

安装了pentaho data integration4.4

下载地址点击打开链接

我用的hadoop版本为cdh3u0

新建一个job将文件从本地拷贝到云上

结果报错如下

ERROR 10-04 10:51:15,842 - Hadoop Copy Files - Can not copy file/folder [file://weblogs_rebuild/weblogs_rebuild.txt] to [hdfs://localhost:9000/pentaho/test-weblog]. Exception : [

Unable to get VFS File object for filename 'hdfs://localhost:9000/pentaho/test-weblog' : Could not resolve file "hdfs://localhost/pentaho/test-weblog".

]
ERROR 10-04 10:51:15,842 - Hadoop Copy Files - org.pentaho.di.core.exception.KettleFileException:

Unable to get VFS File object for filename 'hdfs://localhost:9000/pentaho/test-weblog' : Could not resolve file "hdfs://localhost/pentaho/test-weblog".

at org