hive on spark 客户端连接超时

最新推荐文章于 2024-09-12 00:33:19 发布
最新推荐文章于 2024-09-12 00:33:19 发布
阅读量1.8k 收藏
点赞数
文章标签： hive spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42728895/article/details/122721479
版权
当使用Hive on Spark时遇到执行超时的错误，通过检查YARN Web界面中失败的任务，发现hdfs://master/hive/spark_jars/guice-4.0.jar存在问题。在节点datamiddle-249的日志中查找该任务的详细信息，发现guice-4.0.jar文件损坏。解决方案是删除这个受损的jar文件并重新执行任务。
摘要由CSDN通过智能技术生成

Hive on spark，执行时报错
在这里插入图片描述
解决：
在yarn web界面上点击执行失败的任务：
在这里插入图片描述
从这上面可以看出，hdfs://master/hive/spark_jars/guice-4.0.jar有问题
在这里插入图片描述
找到机器http://datamiddle-249:8042，查看nodemanager日志
在这里插入图片描述
日志里面搜索刚才的任务
在这里插入图片描述
可以看见如下日志
在这里插入图片描述
可以看出，guice-4.0.jar文件受损，删除掉，重新执行就可以了

最低0.47元/天 解锁文章
这个操蛋的人生！！！
关注
线上 hive on spark 作业执行超时问题排查案例分享
明哥的IT随笔
11-08 3036
m分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法
hive spark连接超时
qq_45887821的博客
04-20 3903
使用hive报错 ql.Driver: FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session ce22776f-34da-4eb0-84f5-0aa3fcefaf3a 查看报错日志发现 client.SparkClientImpl: Timed ou
hive on spark
weixin_30607659的博客
06-02 147
装了一个多星期的hive on spark 遇到了许多坑。还是写一篇随笔，免得以后自己忘记了。同事也给我一样苦逼的人参考。 先说明一下，这里说的Hive on Spark是Hive跑在Spark上，用的是Spark执行引擎，而不是MapReduce，和Hive on Tez的道理一样。 先看官网的资源Hive on Spark: Getting Started 要想在Hive中使用Spar...
Hive 整合 Spark 全教程 （Hive on Spark）
最新发布
2401_87111282的博客
09-12 1272
分类应用Haddop 2.xHaddop 3.xNNPortsNamenode80209820NNPortsNN HTTP UI500709870NNPorts504709871SNN portsSNN HTTP500919869SNN ports500909868DN portsDN IPC500209867DN portsDN500109866DN portsDN HTTP UI500759864DN portsNamenode。
HiveOnSpark报错：Client ‘xxx‘ timed out waiting for connection from the Remote Spark Driver
热门推荐
benpaodexiaowoniu的博客
01-07 1万+
今天群内看到一个hive on spark报错案例： FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session adecc1e7-9763-4d33-bf4d-7a1...
生产环境踩坑系列::Hive on Spark的connection timeout 问题
艺术码农农场
07-18 3290
起因 7/16凌晨，钉钉突然收到了一条告警，一个公司所有业务部门的组织架构表的ETL过程中，数据推送到DIM层的过程中出现异常，导致任务失败。 因为这个数据会影响到第二天所有大数据组对外的应用服务中组织架构基础数据，当然，我们的Pla-nB也不是吃素的，一旦出现错误，后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据，只会影响到在前一天做过组织架构变化的同事在系统上的操作，但是这个影响数量是可控的，并且我们会也有所有组织架构变化的审计数据，如果第二天这个推数的ETL修复不
spark连接hive
YK_LaNce的博客
07-16 281
spark从hive表读数据并在mysql显示 1. 配置文件 先将hive/conf下的hive-site.xml复制到spark/conf下 对照下面的hive-site.xml修改 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="c...
大数据最佳实践-hive on spark
m0_57468722的博客
11-27 1893
目录 Hive on Spark与SparkSQLSpark 内存配置spark动态分配Hive Hive on Spark与SparkSQL Hive是Hadoop中的标准SQL引擎，也是最古老的引擎之一。H...
hive报错 spark_Hive(十三)【Hive on Spark 部署搭建】
weixin_32924297的博客
01-12 890
一.安装Hive安装和Spark对应版本一起编译的Hive，当前官网推荐的版本关系如下：HiveVersionSparkVersion1.1.x1.2.01.2.x1.3.12.0.x1.5.02.1.x1.6.02.2.x1.6.02.3.x2.0.03.0.x2.3.0master2.3.0二.安装Spark①在Hive所在机器安装Spark，配置Spark on Yarn模式。可以将spar...
Hive On Spark 报错：Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
Y_Aryan的博客
02-22 2037
脚本中含有：数据装载进hive表的sql语句，在执行脚本的时候发生报错。
hive-on-spark报错：org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session
niuyang0066的博客
12-20 9703
1.搭建好hive-on-spark后，首先测试搭建环境是否成功： 如：create table student (id int, name string); insert into table student values(1,'abc'); 如果执行成功，说明hive-on-spark搭建成功。如果失败，则搭建失败。就要考虑是版本兼容性问题还是配置文件出错。 2.如果在搭建成功的情况下，执行某些较为复杂的命令时报错：org.apache.hadoop.hive.ql.parse.Semantic
一百三十一、海豚调度器——海豚调度Hive on Spark任务报错Failed to create Spark client for Spark session
tiantang2renjian的博客
07-20 852
海豚调度Hive on Spark任务报错Failed to create Spark client for Spark session
hive on spark 任务运行报错：Failed to create Spark client for Spark session xxx
weixin_52620153的博客
03-15 1096
项目bug解决
org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark session
weixin_45417821的博客
01-24 791
日志监控： java.util.concurrent.ExecutionException: java.util.concurrent.TimeoutException: Timed out waiting for client connection. 解决： hive.spark.client.connect.timeout的默认值是1000ms，如果执行hive的insert语句时，抛如下异常，可以调大该参数到10000ms 在hive的配置文件hive-site.xml中添加： <!--Hiv.
搭建hive on spark持续报错解决办法
Jorry_yuan的博客
05-24 244
在配置hive on spark时,暂时不适用beeline启动,所以先不配置这几个参数。在配置hive-site.xml时,配置了元数据服务方式以及JDBC方式访问Hive。
sparkSQL连接hive失败案例和解决办法
qq_46183404的博客
10-05 3774
sparkSQL连接hive失败案例和解决办法
Hive on Spark配置含踩坑记录
qq_27896233的博客
07-07 642
说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。注意：hive.spark.client.connect.timeout的默认值是1000ms，如果执行hive的insert语句时，抛如下异常，可以调大该参数到10000ms。
spark下启动hive常遇到的3个坑
qq_39954916的博客
03-24 885
第一个错误，终端输入hive报以下错误解决方法：将/usr/local/hive/conf/hive-site.xml配置文件第一行<?xmlversion="1.0"encoding="UTF-8"standalone="no"?>中的encoding="UTF-8"standalone="no"删除，不再报错，但是会不会引起其他不良影响暂时没发现，后续发现再补充。第二个...
CDH 6.3.0下Hive on Spark搭建与调优实战
"基于CDH 6.3.0搭建Hive on Spark的详细步骤以及相关的配置和调优策略，适合大数据处理环境中的性能优化。文档涵盖了如何将Hive的默认计算框架MapReduce替换为Spark，以提升计算速度。文中特别提到了集群环境的硬件...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这个操蛋的人生！！！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值