hive on spark异常

最新推荐文章于 2024-09-06 16:13:11 发布

hua_ed

最新推荐文章于 2024-09-06 16:13:11 发布

阅读量1w

点赞数

分类专栏： hadoop 文章标签： hive spark

本文链接：https://blog.csdn.net/hua_ed/article/details/79577229

版权

本文分析了Hive on Spark运行时遇到的两大类异常：客户端连接Spark Driver超时和Spark任务执行失败。对于超时问题，建议增加`hive.spark.client.future.timeout`配置。对于执行失败，可能原因是executor内存不足或数据处理异常，可通过Spark UI的Job历史日志进行排查。

摘要由CSDN通过智能技术生成

种类一、

INFO :   set mapreduce.job.reduces=<number>
ERROR : Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create spark client.
   at org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open(SparkSessionImpl.java:64)
   at org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionManagerImpl.getSession(SparkSessionManagerImpl.java:114)
   at org.apache.hadoop.hive.ql.exec.spark.SparkUtilities.getSparkSession(SparkUtilities.java:125)
   at org.apache.hadoop.hive.ql.exec.spark.SparkTask.execute(SparkTask.java:97)
   at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:160)
   at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:100)
   at org.apache.hadoop.hive.ql.Driver.launchT