Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行

最新推荐文章于 2024-05-28 08:30:00 发布

九师兄

最新推荐文章于 2024-05-28 08:30:00 发布

阅读量1.4k

点赞数

分类专栏：大数据-spark 文章标签： spark 集群 yarn

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/76907467

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了SparkSQL的两种运行模式：单节点运行和YARN集群运行。单节点运行在数据量过大时可能导致任务失败，而集群运行能更好地处理大规模数据。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

1。单节点运行

 bin/spark-sql --master spark://bigdata01.hzjs.co:7077 --executor-memory 40g --total-executor-cores 50 --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.driver.maxResultSize=4g

缺点：数据量特别大会造成集群任务死掉

2。集群运行

bin/spark-sql --master yarn-client --executor-memory 80g --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.driver.maxResultSize=10g