hive on spark 3.1.2集成spark3.0.0

最新推荐文章于 2023-09-13 20:47:58 发布
VIP文章 最新推荐文章于 2023-09-13 20:47:58 发布
阅读量1.4k 收藏 1
点赞数 5
分类专栏： 大数据 文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53205955/article/details/119000138
版权

需要修改spark-env.sh
加上 export SPARK_DIST_CLASSPATH=$(hadoop classpath)
否则报错

2 14:51:56,117 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 13, (reason: User class threw exception: java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf
at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5099)
at org.apache.hive.spark.client.rpc.RpcConfiguration.<clinit>(RpcConfiguration.java:67)
at org.apache.hive.spark.client.RemoteDriver.<init>(RemoteDriver.java:138)
at org.apache.hive.spark.client.RemoteDriver.main(RemoteDriver.java:536)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.ya
最低0.47元/天 解锁文章
还能一起快乐的玩耍
关注
  • 5
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
apache-hive-3.1.2-bin.tar.gz
08-30
兼容spark3.0.0的hive包
Hive3.1.2整合Spark3.0.0-HiveOnSpark
epitomizelu的专栏
03-26 6332
一，整合原理 1，HiveOnSpark Hive是一个Sql解析引擎，其不具备计算能力，Hive将Sql解析成为物理执行计划，将物理执行计划交由计算引擎执行计算，默认的执行引擎是MapReduce，但MapReduce执行速度慢，随着Spark的崛起，Hive也支持使用Spark作为计算引擎，这就是HiveOnSpark 2，SparkOnHive 比较容易混淆，二者差距还是很大的，SparkOnHive只是使用了Hive的元数据服务，Sql解析由Spark完成、计算也由Spark完成。 二，整合步骤
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
Hive on Spark源码分析DOC
12-18
Hive on Spark源码分析，实际场景中会遇到需求：将Hive默认的执行引擎MapReduce换成Spark或者Tez。
CDH-Spark2-yarn-cluster开发
大壮的博客
05-14 1235
详细的文档在系列cdh搭建第一篇有详细的介绍，但是相关场景，觉得还是需在本篇做一下补充。。。 spark2自定义安装 参考这篇文章 https://blog.csdn.net/Gavin_chun/article/details/78554277 一、下载 ...
【Flink检查点/保存点提交】Flink提交报错与检查点生成多个问题
大白
09-27 682
【Flink检查点/保存点提交】Flink提交报错与检查点生成多个问题。NoClassDefFoundError
spark grpc 在master运行报错 exitcode13 User did not initialize spark context
lonsonlee的专栏
08-25 1784
protobuf-maven-plugin 0.6.1 降到 0.5.0 同时 io.grpc:protoc-gen-grpc-java:1.54.0 com.google.protobuf:protoc:21.0-rc-1。升版本 0.5.0升到 0.6.1 同时 io.grpc:protoc-gen-grpc-java:3.21.9 com.google.protobuf:protoc:3.21.9。
Hive3.1.2 on Spark 3.0.0报错
最新发布
qq_53663722的博客
09-13 239
解决：在/opt/software/hadoop/hadoop-3.1.3/etc/hadoop目录下创建resource-types.xml文件。1、到spark的/opt/software/spark/spark-3.0.0/conf目录下修改配置文件。在/opt/software/spark/spark-3.0.0/sbin路径下启动spark。hive on spark环境下在hive中创建表成功，但是执行插入数据语句报错。3、在hive/conf/hive-site.xml中增加。
问题 Spark Yarn集群模式 exitCode = 13
zhangxiping
03-25 6884
背景 今天一同事在提交任务时遇到一个很奇葩的问题，使用的是集群模式提交的spark任务 下面是运行的日志： Log Length: 19060 20/03/25 14:43:03 INFO util.SignalUtils: Registered signal handler for TERM 20/03/25 14:43:03 INFO util.SignalUtils: Registered...
Hive3.1.2编译源码
05-20
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。除了兼容spark3.0.0外，还将hive3.1.2的guava的版本进行了提升，和hadoop3.x保持一致，以便兼容hadoop3.1.3。
【spark-yarn】异常处理java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds]
weixin_42594269的博客
09-23 1870
20/09/22 22:09:11 ERROR ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) at scala.concurrent.impl.Promis.
spark on yarn 的那些坑
qq_32253371的博客
10-25 1831
在公司6个节点的测试集群运行得好好的，结果也很正常，然后放上60个节点的预生产环境，我勒个擦，搞了我两天，主要是生产环境的那些家伙不配合，一个问题搞得拖啊拖 ，首先是安全认证问题，截取一两个有意义的吧：       1.没有认证 Caused by: java.io.IOException: javax.security.sasl.SaslException: GSS initi
Spark 连接mysql提交jar到Yarn上报错Futures timed out after [100000 milliseconds]
Why Do You Run
08-06 1396
19/08/06 13:47:33 ERROR yarn.ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromise...
Hive on Spark环境搭建（解决Hive3.1.2和Spark3.0.x版本冲突）
loftiest的博客
06-21 7539
使用Hive做元数据存储和HQL解析，Spark做实际计算。（Hive on Spark）Hive 使用3.1.2版本，Spark 使用3.0.3版本 。 由于Hive 3.1.2 和 Spark 3.0.3不兼容，需要修改Hive中关于Spark的源码和依赖引用。 下载Hive 3.1.2源码 ，上传并解压 apache-hive-3.1.2-src.tar.gz下载Linux版IDEA，安装到带有桌面的Linux上。（使用root操作IDEA，bin/idea.sh打开idea）用idea打开apach
hive on spark 已测，完美搭建
qq_42147602的博客
07-01 2319
hive on spark 已测，完美搭建安装包版本 Hadoop-3.1.3 Hive-3.1.2 Spark-3.0.0 安装包要选择博主安装包，已经经过编译，可以避开许多坑 Hadoop压缩包链接：https://pan.baidu.com/s/1_I5LfyQqAgZ0SFUhqgrPbw 提取码：1234 –如下载不上或需要远程协助，移步v xy18796357645告明来意1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Sp
记一次 基于 Hadpoop 3.3.0 完全分布式集群 Spark 3.0.0 集成 Hive 3.1.2
一花一世界
01-14 1381
[root@master ~]# cp /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml /usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf/ /usr/bigdata/spark-3.0.0-bin-hadoop3.2/conf [root@master conf]# cp spark-defaults.conf.template spark.conf [root@slave1 ~]# hdfs dfs -mkd
The application contains no execute() calls.
Jhon_yh的博客
12-03 2002
The application contains no execute() calls. 没有调用 execute() 方法。 2021-12-03 09:20:31 [flink-akka.actor.default-dispatcher-4] WARN ApplicationDispatcherBootstrap:169 - Application failed unexpectedly: java.util.concurrent.CompletionException: org.apache.fl
java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/JobContext
liwenliang2的博客
12-26 5512
开始报错 JobContext在Hive-exec里面有，所以觉得很奇怪说class not found 。java.lang.NoClassDefFoundError两种原因。 1.这个jar包确实没有。导入。 2.依赖包有冲突。导致无法加载。这个冲突的包，有可能是这个找不到类所属的jar包。也有可能是函数调用时，其他类的所属jar包冲突了。 本例子中JobContext类有，只有一...
配置hive on spark spark版本2.4.5 hive版本3.1.2
05-24
接下来，按照以下步骤配置Hive on Spark： 1. 在Hive的配置文件hive-site.xml中添加以下配置： ``` <name>hive.execution.engine <value>spark <description>Execution engine to use. Set this to Spark. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值