spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource

最新推荐文章于 2024-01-11 00:29:48 发布
最新推荐文章于 2024-01-11 00:29:48 发布
阅读量1.5k 收藏
点赞数 2
分类专栏： Spark 文章标签： spark kudu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014432433/article/details/109221858
版权

环境：

CDH6.3.2

Kudu 1.10.0-cdh6.3.2

Spark2.4.0-cdh6.3.2

 

错误：

java.lang.ClassNotFoundException: Failed to find data source: org.apache.kudu.spark.kudu.

java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource

 

解决：

将/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/kudu下的kudu-spark2_2.11-1.10.0-cdh6.3.2.jar

移动到/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/jars目录下

ITboy-Bear
关注
专栏目录
Flink系列：解决java.lang.NoClassDefFoundError: org/apache/flink/client/program/ContextEnvironment
NIO4444
05-31 2765
目录 问题 解决 问题 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. Exception in thread "main" ja
Hive 启动报错 ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer
杨鑫newlife的专栏
07-11 8073
Hive 启动报错 ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer
spark集成clickhouse报错： .ClassNotFound Failed to find data source: clickhouse. Please find packages at
m0_69097184的博客
09-25 623
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: clickhouse. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(Da
java.lang.ClassNotFoundException:tfrecord.Defaultsource
科小勒的博客
10-31 871
java.lang.ClassNotFoundException:tfrecord.Defaultsource 报错信息: 1、java.lang.ClassNotFoundException:tfrecord.Defaultsource 2、java.lang.ClassNotFoundException:tensorflow.Defaultsource 出现这两个异常，是由于缺失spark-tensorflow的jar包导致的，可以从以下几个方面进行排除。 1、先确定在代码在pom依赖中配置ok 2、
ClassNotFoundException: Failed to find data source: jdbc
伏虎游侠的博客
02-07 5800
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: jdbc. Please find packages at http://spark.apache.org/third-party-projects.html The question is almo
ClassNotFoundException Failed to find data source: org.elasticsearch.spark.sql
柯西柯西Cauchy
12-11 2833
将elasticsearch-spark-20_2.11-6.4.1.jar放到Spark的jars目录下
spark sql java.lang.ClassNotFoundException: Failed to find data source:text
qq_38426934的博客
08-21 3953
这个问题出现在sparksession 读取文件时报错，很莫名其妙，感觉是spark sql 在软件测试时忽略，不能去读取文件 解决办法是在打包时声明 maven 打包 <plugin>     <groupId>org.apache.maven.plugins</groupId>     <artifactId>maven-shade-plu...
ClassNotFoundException: org.apache.htrace.core.HTraceConfiguration 和 TableInputFormatBase
weixin_43681796的博客
04-02 768
问题背景 Apache Spark2 整合 Hbase2 的时候报错 . 问题内容 出现两次错误 第一个： Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableInputFormatBase ----------------------------------分割线---------------------------------------
Hive安装遇到的问题
qq_48615104的博客
04-17 779
遇到的问题解决方案 问题一：guava 架包版本不同 当初始化Hive的时候爆出了如下图的错误，这是由于Hadoop包和Hive包自带的guava.jar版本不同导致的。由于版本不一致无法选择使用哪一个jar包。 处理方法：把Hadoop和Hive的jar包版本调整一致即可。 guava.jar分别在 hadoop-3.2.2/share/hadoop/common/lib/ 和 hive-3.1.2/lib/(这里是已经改过的) 问题二：环境变量配置问题 错误：java.lang.ClassNot
Caused by: java.lang.ClassNotFoundException常见异常解决方法
热门推荐
关注我看更多东西
05-19 8万+
常见的Caused by: java.lang.ClassNotFoundException异常原因
【原创】大叔经验分享（55）spark连接kudu报错
weixin_30528371的博客
05-09 682
spark-2.4.2kudu-1.7.0 开始尝试 1）自己手工将jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar # bin/spark-shell scala> val df = spark.read.options(Map("kudu.master" -> ...
java.lang.ClassNotFoundException: org.apache.commons.lang.exception.NestableRuntimeException解决办法
cy104204的专栏
04-20 2437
调试程序JSONObject对象转换时出现:java.lang.ClassNotFoundException: org.apache.commons.lang.exception.NestableRuntimeException异常，发现缺少jar包。百度到解决方法为添加如下jar包： commons-beanutils-1.7.0.jar  commons-lang-2.1.jar 
解决 spark集合kafka中Failed to find data source: kafka.问题
愿你远行千里，归来仍是少年
09-19 8413
问题： 消费者程序consumer_result.py消费kafka中内容，将py文件提交到spark中运行时，提示“Failed to find data source: kafka” 运行代码如下： /usr/local/spark/bin/spark-submit consumer_result.py 解决： 运行命令改为如下： #2.3.3对应spark2.3.3，2.11...
Spark2中操作HBase的异常org.apache.hadoop.hbase.HTableDescriptor.addFamily
xqg1316的博客
04-30 488
Spark2中操作HBase的异常org.apache.hadoop.hbase.HTableDescriptor.addFamily... org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)Lorg/apache/hadoop/hbase/HTabl...
Kudu之Spark操作
justlpf的专栏
05-07 2766
参考文章： kudu之spark操作
KUDU 介绍
yang灬仔
09-13 1479
前言 近两年，KUDU 在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中，KUDU 都有着不可替代的地位。本文通过分析 KUDU 的设计， 试图解释为什么 KUDU 会被广泛应用于大数据领域，因为还没有研究过 KUDU 的代码，下面的介绍是根据 KUDU 的论文和网上的一些资料学习自己理解所得，如有不实之处，劳请指正。 背景 在 KUDU 之前，大数据主要以两种方式存储： 静态数据：以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行
已解决java.lang.ClassNotFoundException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-11 3万+
通过本文ClassNotFoundException问题能够得到解决。
hive出现错误
weixin_44118157的博客
01-08 763
HIVE出现问题 在CDH6.3.2中，使用4.8版本的hue，对hive2.1进行查询，出现错误。数据库使用的为kudu，当在hue中使用impala对kudu表进行查询时不会报错，但hive中对数据库的表查询时会报错误，SERVER2中的报错日志如下： 2021-01-07 10:53:51,856 ERROR org.apache.hadoop.hive.ql.Driver: [ff000399-e564-4be2-8ab8-415c3693b9e6 HiveServer2-Handler-Pool:
Apache Kudu：高性能列存存储系统
Kudu最初由Cloudera开发并贡献给了Apache基金会，成为Apache Hadoop生态的一部分，与大多数Hadoop数据处理框架如Impala、Spark兼容。 Kudu的主要设计目标是提供低延迟的随机读写能力，高吞吐量的数据处理，以及对表...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值