HiveOnSpark报错 timed out waiting for connection from the Remote Spark Driver

报错:
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.
Failed to create Spark client for Spark session XXXX: java.util.concurrent.TimeoutException:
Client ‘XXXXX’ timed out waiting for connection from the Remote Spark Driver

调整超时参数
启动spark集群时,具体的超时时间,有两个相关参数进行控制:

1、hive.spark.client.server.connect.timeout:该参数是服务端配置,用来控制hive客户端跟远程spark集群中的sparkdriver建立连接的超时时间,默认90秒
(这里hive客户端是启动spark集群的客户端,其实就是hs2);90000–>300000
注意:hive.spark.client.server.connect.timeout是服务端参数,所以需要在服务端更改配置并重启服务端(hs2)后才能生效,
单纯在客户端修改该参数,虽然修改时不会报错但修改并不会生效!

2、hive.spark.client.connect.timeout:该参数是客户端配置,用来控制远程spark集群中的sparkdriver跟hive客户端建立连接的时间,默认1秒;1000–>10000

Hive on Spark功能目前只增加下面九个参数:
1、hive.spark.client.future.timeout
Hive client请求Spark driver的超时时间,如果没有指定时间单位,默认就是秒。
2、hive.spark.job.monitor.timeout
Job监控获取Spark作业状态的超时时间,如果没有指定时间单位,默认就是秒。
3、hive.spark.client.connect.timeout
Spark driver连接Hive client的超时时间,如果没有指定时间单位,默认就是毫秒。
4、hive.spark.client.server.connect.timeout
Hive client和远程Spark driver握手时的超时时间,这个会在两边都检查的,如果没有指定时间单位,默认就是毫秒。
5、hive.spark.client.secret.bits
在Hive client和远程Spark driver通信过程中,随机生成密码的比特数。最好设置成8的倍数。
6、hive.spark.client.rpc.threads
远程Spark drive用于处理RPC事件所用的最大线程数,默认是8。
7、hive.spark.client.rpc.max.size
Hive client和远程Spark driver通信最大的消息大小(单位:byte),默认是50MB。
8、hive.spark.client.channel.log.level
远程Spark driver的通道日志级别,必须是DEBUG, ERROR, INFO, TRACE, WARN中的一个。
9、hive.spark.client.rpc.sasl.mechanisms
用于身份验证的SASL机制的名称。

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING是Kafka中的一个错误,表示在连接状态为CONNECTING时等待连接超时。这个错误通常是由于ZooKeeper连接超时引起的。要解决这个问题,可以尝试以下几种方法: 1. 检查ZooKeeper服务器的可用性:确保ZooKeeper服务器正在运行,并且可以通过Kafka配置文件中指定的主机和端口进行访问。 2. 增加连接超时时间:可以通过在Kafka配置文件中增加以下参数来增加连接超时时间: ```shell zookeeper.connection.timeout.ms=6000 ``` 这将把连接超时时间增加到6秒。根据实际情况,您可以适当调整超时时间。 3. 检查网络连接:确保Kafka服务器和ZooKeeper服务器之间的网络连接正常。您可以尝试使用telnet命令测试与ZooKeeper服务器的连接: ```shell telnet <ZooKeeper服务器主机> <ZooKeeper服务器端口> ``` 如果telnet命令无法连接到ZooKeeper服务器,则可能存在网络连接问题。 4. 检查防火墙设置:如果您的系统上启用了防火墙,请确保防火墙允许Kafka服务器和ZooKeeper服务器之间的通信。 5. 检查Kafka配置文件:确保Kafka配置文件中的ZooKeeper连接字符串正确配置。您可以检查以下参数: ```shell zookeeper.connect=<ZooKeeper服务器主机>:<ZooKeeper服务器端口> ``` 这些方法应该能够帮助您解决kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING错误。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值