【kettle集成cdh6.1】hadoop file output浏览目录报错：java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId

最新推荐文章于 2024-06-02 17:10:15 发布
最新推荐文章于 2024-06-02 17:10:15 发布
阅读量1.6w 收藏 8
点赞数 20
分类专栏： Kettle 文章标签： Kettlt CDH HADOOP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jack_Roy/article/details/103976036
版权

【kettle集成cdh6.1】外部数据源读写hdfs若干错

前言

最近试着上手了一下kettle，搭建过程很简单，就是下载个包解压一下，但是在配置数据源的过程中着实踩了不少坑，这里记录一下。

环境

这里介绍一下几个组件的版本

kettle: 8.0
CDH: 6.1.0
HADOOP: 3.0.0
MYSQL: 5.5.62

报错

在此之前，我已经从CDH HDFS管理页面将所需要的core-site.xml、hdfs-site.xml等文件下载并放置至相应的插件位置，又从HADOOP在里将hadoop-client-3.0.0-cdh6.1.0.jar、hadoop-common-3.0.0-cdh6.1.0.jar等jar包下载并放置至lib文件夹中，像网上通用的教程我基本上跟着都做了一遍，这里再贴一下CDH集群配置：
在这里插入图片描述
hdfs用户密码我没有写，因为我压根不知道密码（后来的操作也不受影响），点击测试一下：
在这里插入图片描述
看起来没什么大问题，但是当我将mysql的数据往hdfs上写，打算浏览一下hhdfs目录的时候，报错了：
在这里插入图片描述
报错明细：

无法打开这个步骤窗口
java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId
	at org.apache.hadoop.conf.Configuration.parse(Configuration.java:2825)
	at org.apache.hadoop.conf.Configuration.parse(Configuration.java:2814)
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2865)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2839)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2716)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1353)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1325)
	at org.apache.commons.vfs2.provider.hdfs.HdfsFileSystem.resolveFile(HdfsFileSystem.java:116)
	at org.apache.commons.vfs2.provider.AbstractOriginatingFileProvider.findFile(AbstractOriginatingFileProvider.java:84)
	at org.apache.commons.vfs2.provider.AbstractOriginatingFileProvider.findFile(AbstractOriginatingFileProvider.java:64)
	at org.apache.commons.vfs2.impl.DefaultFileSystemManager.resolveFile(DefaultFileSystemManager.java:790)
	at org.pentaho.di.core.vfs.ConcurrentFileSystemManager.resolveFile(ConcurrentFileSystemManager.java:91)
	at org.apache.commons.vfs2.impl.DefaultFileSystemManager.resolveFile(DefaultFileSystemManager.java:712)
	at org.pentaho.di.core.vfs.KettleVFS.getFileObject(KettleVFS.java:152)
	at org.pentaho.di.core.vfs.KettleVFS.getFileObject(KettleVFS.java:107)
	at org.pentaho.di.core.vfs.KettleVFS.getFileObject(KettleVFS.java:103)
	at org.pentaho.big.data.kettle.plugins.hdfs.trans.HadoopFileOutputDialog$29.widgetSelected(HadoopFileOutputDialog.java:1207)
	at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
	at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
	at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
	at org.pentaho.big.data.kettle.plugins.hdfs.trans.HadoopFileOutputDialog.open(HadoopFileOutputDialog.java:1316)
	at org.pentaho.di.ui.spoon.delegates.SpoonStepsDelegate.editStep(SpoonStepsDelegate.java:127)
	at org.pentaho.di.ui.spoon.Spoon.editStep(Spoon.java:8728)
	at org.pentaho.di.ui.spoon.trans.TransGraph.editStep(TransGraph.java:3214)
	at org.pentaho.di.ui.spoon.trans.TransGraph.mouseDoubleClick(TransGraph.java:780)
	at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
	at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
	at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
	at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1366)
	at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7984)
	at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9245)
	at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:692)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.pentaho.commons.launcher.Launcher.main(Launcher.java:92)
Caused by: java.lang.ClassNotFoundException: com.ctc.wstx.io.SystemId
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

问题分析

笔者一看这报错信息，不就是找不到一个名叫com.ctc.wstx.io.SystemId的类么，找来不就得了！
于是去往namenode所在节点的hadoop的lib目录下一瞧，真有“woodstox-core-5.0.3.jar”这个包：
在这里插入图片描述
毫无疑问，将其拖下放入kettle的lib目录并重启kettle，然后再查看一下hdfs的目录，这回报了个新错：
在这里插入图片描述
报错明细：

无法打开这个步骤窗口
java.lang.NoSuchMethodError: com.ctc.wstx.io.StreamBootstrapper.getInstance(Ljava/lang/String;Lcom/ctc/wstx/io/SystemId;Ljava/io/InputStream;)Lcom/ctc/wstx/io/StreamBootstrapper;
	at org.apache.hadoop.conf.Configuration.parse(Configuration.java:2831)
	at org.apache.hadoop.conf.Configuration.parse(Configuration.java:2814)
	at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2865)
	at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2839)
	at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2716)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1353)
	at org.apache.hadoop.conf.Configuration.set(Configuration.java:1325)
	at org.apache.commons.vfs2.provider.hdfs.HdfsFileSystem.resolveFile(HdfsFileSystem.java:116)
	at org.apache.commons.vfs2.provider.AbstractOriginatingFileProvider.findFile(AbstractOriginatingFileProvider.java:84)
	at org.apache.commons.vfs2.provider.AbstractOriginatingFileProvider.findFile(AbstractOriginatingFileProvider.java:64)
	at org.apache.commons.vfs2.impl.DefaultFileSystemManager.resolveFile(DefaultFileSystemManager.java:790)
	at org.pentaho.di.core.vfs.ConcurrentFileSystemManager.resolveFile(ConcurrentFileSystemManager.java:91)
	at org.apache.commons.vfs2.impl.DefaultFileSystemManager.resolveFile(DefaultFileSystemManager.java:712)
	at org.pentaho.di.core.vfs.KettleVFS.getFileObject(KettleVFS.java:152)
	at org.pentaho.di.core.vfs.KettleVFS.getFileObject(KettleVFS.java:107)
	at org.pentaho.di.core.vfs.KettleVFS.getFileObject(KettleVFS.java:103)
	at org.pentaho.big.data.kettle.plugins.hdfs.trans.HadoopFileOutputDialog$29.widgetSelected(HadoopFileOutputDialog.java:1207)
	at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
	at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
	at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
	at org.pentaho.big.data.kettle.plugins.hdfs.trans.HadoopFileOutputDialog.open(HadoopFileOutputDialog.java:1316)
	at org.pentaho.di.ui.spoon.delegates.SpoonStepsDelegate.editStep(SpoonStepsDelegate.java:127)
	at org.pentaho.di.ui.spoon.Spoon.editStep(Spoon.java:8728)
	at org.pentaho.di.ui.spoon.trans.TransGraph.editStep(TransGraph.java:3214)
	at org.pentaho.di.ui.spoon.trans.TransGraph.mouseDoubleClick(TransGraph.java:780)
	at org.eclipse.swt.widgets.TypedListener.handleEvent(Unknown Source)
	at org.eclipse.swt.widgets.EventTable.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Widget.sendEvent(Unknown Source)
	at org.eclipse.swt.widgets.Display.runDeferredEvents(Unknown Source)
	at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source)
	at org.pentaho.di.ui.spoon.Spoon.readAndDispatch(Spoon.java:1366)
	at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:7984)
	at org.pentaho.di.ui.spoon.Spoon.start(Spoon.java:9245)
	at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:692)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.pentaho.commons.launcher.Launcher.main(Launcher.java:92)

这回不是报找不到类com.ctc.wstx.io.StreamBootstrapper，而是报找不到类com.ctc.wstx.io.StreamBootstrapper中的getInstance方法了，笔者找来反编译软件进去看了看：
在这里插入图片描述
What fuck?该有的方法一个不少的好吧！看来问题绝不是缺包、包冲突那么简单，冷静下来想想（实则慌的一批，临近过年，老子还想早点出去神游嬉戏一番），似是数据源版本和kettle之间的问题。
改变了思路之后，笔者又经过一番查阅之后，终于通过换Keettle版本的方式搞定了这个棘手的问题，效果如下：
在这里插入图片描述

解决办法

不管是7.版本的kettle还是8.0的kettle，我们从“\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations”路径下看只能看到对hadoop2.、cdh5.*的支持，因此要想支持cdh6.1唯有自己寻找插件，或者是使用更高版本的kettle，这里贴一下kettle下载路径：

https://sourceforge.net/projects/pentaho/files/Pentaho%208.3/client-tools/

访问url下拉至底部，下载pdi-ce-8.3.0.0-371.zip：
在这里插入图片描述
cdh6.1-hadoop3.0插件url：

https://sourceforge.net/projects/pentaho/files/Pentaho%208.3/shims/

下拉找到pentaho-hadoop-shims-cdh61-package-8.3.2019.05.00-371-dist.zip点击下载：
在这里插入图片描述

后记

通过这个例子可以看出，版本选不对，后患是无穷，大家在选择组件的时候一定要擦亮眼睛选互相兼容的组件~

Jack_Roy
关注
  • 20
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
解决Spark GraphX报错： java.lang.ArrayIndexOutOfBoundsException: -1
weixin_39419040的博客
12-20 3915
看很少有博客说这种问题，那我就分享一下踩坑记录吧~ 首先说一下解决方法：增加executor的内存资源：--executor-memory 最近用spark做了一个有关风险传导的算子，其中调用了GraphX进行计算，测试时用的数据量比较少，所以没有意外地执行完毕了。 但是在数据量增加之后，首先报了shuffle读写不平衡的错，这是在图计算中产生的大量shuffle和资源配置不平衡导致的，了解spark的童鞋都清楚，调整资源就可以解决。但是在调整资源之后，又报了个错：java.lang.ArrayI..
java.lang.NoClassDefFoundError: org/scannotation/AnnotationDB
梦回乌托邦
12-04 1552
web项目集成kettle报错 缺少jar包 <!-- https://mvnrepository.com/artifact/org.scannotation/scannotation --> <dependency> <groupId>org.scannotation</groupId> <artifactId>scannotation</artifactId>
kettle的web版本，自己编译的war包，直接放到tomcat下运行，然后http://localhost:8080/web
01-31
kettle的web版本，自己编译的war包，直接放到tomcat下运行，然后http://localhost:8080/webspoon/spoon就可以访问
KETTLE实现Hadoop文件数据抽取及输出（超详细，图文并茂）
06-21 4201
一、需求说明 将源表（T_USER）中的用户信息同步到Hadoop中，然后再抽取Hadoop文件中数据到文本文件中。 二、启动kettle 双击 Spoon.bat 就能启动 kettle 。 三、创建转换 Hadoop集群配置说明 首先需要从hadoop集群中（/../hadoop-3.1.2/etc/hadoop）复制core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml文件到shim文件夹中(..\data-integration\
hadoop file output 报 java.lang.OutOfMemoryError: Requested array size exceeds VM
zsg86的博客
10-09 1139
 使用kettle将hive中的数据抽取到hdfs中，报 java.lang.OutOfMemoryError: Requested array size exceeds VM  原因是，hive中有两个字段定义的长度为21亿，超过了jvm数据长度，减小这两个字段长度即可。       ...
Hadoop File Output 使用和问题解决
m0_37845836的博客
11-15 3353
请注意：这份文件适用于PATAHO 7.1和更早的版本。对于PANAHO 8和以后，请参阅PadaHoeEnterprise Enterprise文档站点上的Hadoop文件输出。 描述 Hadoop文件输出步骤用于将数据导出到存储在Hadoop集群上的文本文件。这通常用于生成可由电子表格应用程序读取的逗号分隔值（CSV文件）。还可以通过在字段选项卡中设置字段长度来生成固定宽度的文件。 这些...
Centos下如何创mysql中间库并定时更新数据
清风不请自来，只为一亲芳泽
10-09 704
CentOS下如何创建mysql中间库并定时更新数据
Exception in thread main java.lang.NoClassDefFoundError错误解决方法
09-01
`Exception in thread "main" java.lang.NoClassDefFoundError` 是Java编程中常见的一个运行时异常，通常发生在尝试运行一个Java程序时，如果JVM找不到在类路径（ClassPath）中定义的主要类（主类，即包含`public ...
【已解决】java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long异常，亲测有效
weixin_66983238的博客
04-23 1779
【已解决】java.lang.ClassCastException: java.math.BigInteger cannot be cast to java.lang.Long异常，亲测有效
KETTLE 能够使用Hadoop file input，而output失败
最新发布
weixin_67299453的博客
06-02 121
报错里用的user=Ñî，我以为是用户设置没有生效，用的不知道哪来的这个用户，但我发现，前面的日志里有写我用的哪个用户，我用的是root，在shell里输入这个，然后就可以了，我用的final shell。我的是建立对应目录后，input可以用，output失败。我是因为权限问题导致的写入失败。我最后是改了那个目录的权限。
kettle 从数据库表将数据写入 hadoop hdfs
cdmamata的专栏
02-24 1万+
kettle 作为一个 java 的开源 ETL 工具，支持的接入源与输出源很丰富， 下面测试简单的 数据库 table -> table -> hdfs 文件的写入。 简介：kettle 主目录分为作业和转换     转换： 用来配置ETL 链路信息，及工作方式。     作业： 用来启动和控制转换工作。 1. 安装环境     kettle 依赖于 java 环境，请安装好 Jav
MR -- OutputFormat数据输出
a1786742005的博客
02-28 483
一、OutputFormat 介绍 OutputFormat 是 MapReduce 输出的基类，所有实现 MapReduce 输出都实现了 OutputFormat 接口。下面说一下几种常见的 OutputFormat 实现类。 1、TextOutputFormat 默认的输出格式为 TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为 TextOutputF...
Hadoop源码详解之FileOutputFormat 类
说文科技，做有态度的研究。
12-22 987
Hadoop 源码详解之FileOutputFormat 类 1. 类释义 A base class for OutputFormats that read from FileSystems. 一个类从FileSystems读取 用于OutputFormats 【实在翻译不好 _ 】 2. 类源码 3. 方法详解 3.1 setOutputPath() Set the Path of the...
hbase链接HDFS报java.lang.ClassNotFoundException: com.ctc.wstx.io.InputBootstrapper
love_Java123的博客
04-30 7905
转自仅做记录侵权删除：https://www.wengbi.com/thread_80203_1.html 系统版本 hadoop：2.9.1linux：CentOS 7,64位，hadoop安装平台。jdk：1.8Windows 7,64位。hadoop软件开发。Eclipse：eclipse-jee-oxygen-3 2018-6-25 Windows的Eclipse中搭建Hadoop环境 中...
java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper
qq_36770153的博客
12-11 1万+
由于是新手，解决问题的能力有限，所以遇到这个问题的时候困扰了好久，最后通过查资料得知：是jar包不全 解决方案： 产生的原因是由于引入的jar包不全，我的解决办法是将hadoop common下的lib文件夹中的所有jar包全部添加至project项目中  ...
PDI（kettle）兼容hadoop-连接CDH hadoop集群
果果的小莴笋
02-16 2537
1. 说明 PDI可以与Hadoop协同工作。通过提交适当的参数，Kettle可以连接Hadoop的HDFS、MapReduce、Zookeeper、Oozie、Sqoop和Spark服务。在数据库连接类型中支持Hive、Impala和Hbase PDI获取：https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/client-tools/ PDI server 获取：https://sour...
解决java.lang.NoClassDefFoundError错误
热门推荐
03-20 11万+
解决Java报错：java.lang.NoClassDefFoundError错误
Hadoop OutputFormat 介绍
木东的博客
05-02 2098
Hadoop常常被用作大型数据处理生态系统中的一部分。它的优势在于能够批量地处理大量数据，并将结果以最好的方式与其他系统相集成。从高层次角度来看，整个过程就是Hadoop接收输入文件、使用自定义转换（Map-Reduce步骤）获得内容流，以及将输出文件的结果写回磁盘。上个月InfoQ展示了怎样在第一个步骤中，使用InputFormat类来更好地对接收输入文件进行控制。而在本文中，我们将同大家一起探
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值