hive on spark 任务运行报错：Failed to create Spark client for Spark session xxx

最近在回顾数仓项目时，重新调度了一下集群的任务，发现在跑某个任务时出现了该错误。

起初尝试了调整yarn集群的资源，发现并没有太大的作用。

检索了网上的博客发现可能有两种报错原因：

1. spark和hive的版本不兼容

2. spark客户端等待时间太短

第一种情况检查过后发现并没有不兼容的问题，因为版本都是事先确定好的。

那么尝试了第二种方法，在hive的配置文件中找到调整等待时间的参数，进行修改。

在hive-default.xml.template文件中，有两个参数可供修改

第一个参数是指spark连接回hive客户端的最大超时时间，默认是1s

第二个参数是指hive客户端与spark建立连接的最大超时时间，默认是90s

根据本人的情况，hive的连接没有出现问题，那么就尝试修改第一个参数。

在hive-site-xml文件中，添加或修改该参数，调大一点。

最后恢复失败任务，运行成功。