Flink Yarn-Session模式写入hbase报错NoClassDefFoundError: org/apache/htrace/Trace的解决(基于CDH6.3)

最新推荐文章于 2023-06-05 16:56:56 发布
最新推荐文章于 2023-06-05 16:56:56 发布
阅读量364 收藏
点赞数
分类专栏： 大数据 文章标签： flink kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40593230/article/details/117693116
版权

版本:Flink1.11.1

版本：Flink1.11.1  CDH:6.3.2

已知该Hbase对应的Htrace版本:

htrace-core-3.2.0-incubating.jar

htrace-core4-4.1.0-incubating.jar

htrace-core4-4.2.0-incubating.jar
 

解决方法：

1.拷贝JAR

所有节点执行：

cp /opt/cloudera/parcels/CDH/jars/htrace-core* /opt/cloudera/parcels/CDH/lib/hbase/lib/

Flink启动节点执行:

cp /opt/cloudera/parcels/CDH/lib/hbase/lib/htrace-core*   $FLINK_HOME/lib/

2.重启hbase

3.重启Yarn-Session

4.提交job

flink run  \
-yid application_XXXXXX_XXXX \
XXXX.jar -d

 

 

分享使你们快乐Hasaki
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
htrace-core4-4.1.0-incubating-API文档-中英对照版.zip
06-12
赠送jar包：htrace-core4-4.1.0-incubating.jar； 赠送原API文档：htrace-core4-4.1.0-incubating-javadoc.jar； 赠送源代码：htrace-core4-4.1.0-incubating-sources.jar； 赠送Maven依赖信息文件：htrace-core4-4.1.0-incubating.pom； 包含翻译后的API文档：htrace-core4-4.1.0-incubating-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.apache.htrace:htrace-core4:4.1.0-incubating； 标签：apache、htrace、core4、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
[Flink] Flink On Yarn（yarn-session.sh）启动错误
雨潇的专栏
06-05 2399
在Flink上启动 yarn-session.sh时出现 The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.错误
java 请求Hbase时报错NoClassDefFoundError: org/apache/htrace/Trace
koulingbo5156的专栏
08-16 2062
需求背景:使用，但是启动的时候报错 Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace 问题分析：client解析连接的是3.0.4版本的htrace，而真正需要的是3.1.0-incubating这个版本的导致找不到，我们所需要做的就是单独再引入一次htrace,配置如下,放在pom配置的最上面: org.ap
phoenix 报错 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 解决方法
随风随想
06-17 2770
在使用cdh6.0时，由于需要对表中字段建立索引，需要引入phoenix，但cloudera官方并没有出配套的phoenix软件，需要自己进行配置。 cdh6安装配置phoenix参考教程：CDH的 Phoenix、hbase操作 按照上述教程配置完phoenix后，启动报错：Error: org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoCl
flink on yarn 缺少依赖NoClassDefFoundError: com/sun/jersey
06-06
flink-hadoop-compatibility_2.12-1.7.1.jar javax.ws.rs-api-2.0.1.jar jersey-common-2.27.jar jersey-core-1.19.4.jar 解决 Exception in thread "main" java.lang.NoClassDefFoundError: ...
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
08-14
NULL 博文链接：https://bnmnba.iteye.com/blog/2322332
flink-1.12-CDH-6.3.2.zip
03-19
flink1.12集成CDH6.3.2，亲测可用
flink-1.13.1 cdh6.3.2
07-24
flink 部署在cdh6.3.2 的包
htrace-core-3.2.0.jar
08-18
hadoop中的一个依赖包，找了很久
htrace-core-3.1.0-incubating
08-14
htrace-core-3.1.0-incubating搭建flume1.7所用包，还有几个提供
解决报错java.lang.NoClassDefFoundError: org/apache/james/mime4j/MimeException
07-10
该jar包解决报错java.lang.NoClassDefFoundError: org/apache/james/mime4j/MimeException，亲测可用。
spark中出现org.apache.htrace找不到的错误
leehbing的博客
11-08 8452
在CDH中，开发的spark连接Hbase的时候，往往会出现找不到org.apache.htrace包。 具体错误如下： ? ? ? ERROR TableInputFormat: java.io.IOException:? ? ? ? java.lang.reflect.InvocationTargetException ? ? ?Caused by: java.lang.NoC
hbase配置hdfs后启动失败
奋斗
03-30 1169
今天按照hbase官方文档配置使用hdfs保存数据, 但是启动后jps没有找到HMaster进程, 查看日志, 发现启动regionserver时出错了, 错误如下: ERROR [main] regionserver.HRegionServer: Failed construction RegionServer java.lang.NoClassDefFoundError: org/apache...
SparkStreaming运行出现 java.lang.NoClassDefFoundError: org/apache/htrace/Trace 错误
weixin_30819163的博客
01-30 711
1、简介 　　最近在摸索利用sparkstreaming从kafka中准实时的读取数据，并将在读取的过程中，可以做一个简单的分析，最后将分析结果写入hbase中。 2、出现的问题 （1）将从kafka中读取数据的程序打包到服务器上运行，发现需要用kafka相关的包，因此采用assembly的方法打包即可。 （2）运行 spark-submit --class "com.yiba...
flinkOnYarn 启动报错NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
Alex_Sheng_Sea的博客
10-17 5889
[root@hadoop-01 flink-1.9.0]# bin/yarn-session.sh Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/...
JanusGraph源码本地编译
qq_41569668的博客
04-16 593
JanusGraph源码本地编译 背景 笔者也是刚接触JanusGraph不久的小白，对JanusGraph的一些功能实现点也是一知半解，但由于生活所迫 对新事物的好奇心 ，接下来此博客会不定期的更新JanusGraph源码分析过程。才疏学浅难免有疏漏的地方，欢迎大家斧正。 本地安装环境依赖 目前JanusGraph原生支持多种存储后端以及索引后端，本文将以HBASE作为存储后端，ElasticSearch作为索引后端为例，讲解本地如何成功编译JanusGraph源码。 依赖环境及版本: windo
centos7下hbase配置及解决错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty等三个问题
热门推荐
pycrossover的博客
10-18 2万+
hbase配置及解决错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty等三个问题 文章背景 最近在为公司搭建hadoop集群，安装hbase的时候出现了很多问题，下面写了我遇到的三个坑，如果你们按着我的步骤操作，应该是可以避开一些错误的（不能保证能行，但是可以参考），另外安装到sqoop的时候出现了标题的那个错误，并且当敲出hba...
java.lang.NoClassDefFoundError: org/apache/flink/api/common/serialization/DeserializationSchema
最新发布
08-30
综上所述，解决 java.lang.NoClassDefFoundError: org/apache/flink/api/common/serialization/DeserializationSchema 的方法包括检查 flink-core 的版本配置和引入，以及调整依赖包的 scope 或者 IDE 的配置。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值