spark-sql cli模式下driver内存溢出

最新推荐文章于 2024-04-26 22:39:30 发布
最新推荐文章于 2024-04-26 22:39:30 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/d15514350208/article/details/102481139
版权

采用spark-sql启动编程，编写sql执行，但是数据量很少，不到一百条，执行时显示内存溢出,并且是已经显示stage进度条；如果是在编译过程中提示内存溢出，极有可能是driver内存分配的太小，而sql编译后stage太多导致，但是下面的这个是程序用改已经执行了，跟executor-memory有关，和driver没有多少关系了，但是最后的解决方法是加大了driver内存。这一点目前理解不同，后期补充

报错第一部分

提示outofmemoryError:Unable to acquire 262144 bytes of memory ,got 65536 ，但看第一部分日志感觉不像driver内存溢出，像是executor内存不够，网上查阅资料有说是在shuffer sort阶段申请内存不足；亲测增加executor内存后 报错日志改成  no enough memory for aggregation  具体后面补课吧

报错第二部分 日志读懂了，连在一起没懂，内功不够，待修炼

报错第三部分也是driver日志：看到DAGSchduler 和driver大概猜到是什么原因导致了， 启动spark-sql 增加了driver内存 带上--driver-memory 1g  再次执行成功；

 

 

driver的原理看来掌握不行，后期懂了再补充，如果有哪位大神知道的可以留言指教；

 

yala说
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
累加器使用不当，导致spark driver内存溢出问题
njuptcyd的博客
09-22 1099
问题说明   最近借助自定义spark累加器的方式去监控我司大数据平台处理接入的数据量（自定义累加器定义可以参考方法，可以参考AccumulatorV2.scala），但是最近项目局点同事反馈，文件数很多的情况下，spark driver端会出现OOM。（现场driver内存配置了80G） 问题定位过程   因为现场dump文件达到80+G，因此，不能把dump文件完整的拿到办公机器来分析，只能借...
Spark Driver CPU 占用异常问题排查
AI+BI,大数据分析,数据可视化,商业智能,数据驾驶舱 - 观远数据
08-22 805
排查实录
spark调优第二篇：spark内存溢出还可能是你的driver memory的内存内存不够
热门推荐
diudiu2025的博客
10-30 1万+
java.lang.OutOfMemoryError: GC overhead limit exceeded 在模型中我需要将100万的数据读出来经行筛选在组成一个30万维大数组，那么其中一个操作涉及到将rdd转化为array。 在这一步中其实是将所有的数据都拉到一台机器上了，也就是你的driver，应为我用的是spark-shell默认的任务执行模式 是yarn-client。
Spark AQE 导致的 Driver OOM问题
最新发布
monkeyboy_tech的博客
04-26 1111
因为原则上来说，如果没有开启AQE之前，一个SQL执行单元的是属于同一个Job的，开启了AQE之后，因为AQE的原因，一个Job被拆成了了多个Job，但是从逻辑上来说，还是属于同一个SQL处理单元的所以还是得归属到一次执行中。类在内存中存放着 一个整个SQL查询链的所有stage以及stage的指标信息，在AQE中 一个job会被拆分成很多job，甚至几百上千的job，这个时候 stageMetrics的数据就会成百上倍的被存储在内存中，从而导致。主要的作用是设置当前计划的所属的。该方法会获取事件中的。
SPARK java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver
80后大叔爱学习
03-15 1083
解决：编译时候缺少了相关jar包，需要重新编译：添加内容-Phive-thriftserver ./dev/make-distribution.sh \ --name "hadoop3-without-hive" \ --tgz "-Pyarn -Phive-thriftserver,hadoop-3.1,scala-2.11,parquet-provided,orc-provided" \ -Dhadoop.version=3.1.3 \ -Dscala.version=2.11.8 \ -Dsca..
spark1.1的部署、sparksql CLI、sparksql-jdbc运用
sparkjvm的专栏
01-04 828
SparkSql实际运用：在spark0.9.x中不支持jdbc操作，spark1.1会加入jdbc支持 版本说明：spark-1.1.0+scala-2.10.4+hive-0.12.0 注意：版本不匹配可能出现各种不同的问题，可能出现不能配合工作，或者运算结果不对的情况！ QQ群讨论：288396468 spark1.1的发布正式版：2014/9/11 1、增加s
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
spark-submit cluster模式时driver-class-path支持hdfs路径
04-23
spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。
spark-sql_2.11-2.1.3-SNAPSHOT_bak.jar
04-01
spark-sql_2.11-2.1.3-SNAPSHOT_bak.jar
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
这是每个学习spark必备的jar包，是根据我的个人试验后所得，官网正版，在spark官网下载。 资源包里不仅有需要的jar包，并且给不会再官网上下载的新手官方网址，可以自由下载资源
spark-sql-perf
05-13
$ bin/run --helpspark-sql-perf 0.2.0Usage: spark-sql-perf [options] -b <value> | --benchmark <value> the name of the benchmark to run -m <value> | --master <value> | --filter <value> a filter on the ...
Spark SQL CLI配置
weixin_54412689的博客
05-08 832
Spark SQL CLI配置 SparkSQL可以兼容Hive以便SparkSQL支持Hive表访问、UDF(用户自定义函数)以及Hive查询语言(HiveQL/HQL)。 若要使用SparkSQLCLI的方式访问操作Hive表数据，需要对SparkSQL进行如下所示的环境配置(Spark集群已搭建好)，将SparkSQL连接到一个部署好的Hive上
sparkcli命令spark－sql的使用
09-23 6941
spark的定位是是替换掉hive和storm，企业里面hive百分之八十的命令都是通过hive－cli命令来调的，sparksql的作用等同于hive－cli。hive－cli是跑在mapreduce，sparksql是运行在spark上，通过sparksql --help可以看cli，比如指定内存，核数，以及执行cli的命令，他是完全仿造hive的。 比如在hive上执行：hive -e "
Spark SQL CLI 的配置和使用
半吊子Kyle的博客
08-30 1388
Spark SQL CLI 的配置和使用使用说明Spark SQL CLI 读取和存储数据在本地Spark SQL CLI 读取和存储数据在 HDFS 关键字：【spark-sql 配置 HDFS 、spark sql cli 配置 HDFS、spark-sql 保存数据到 HDFS】 使用说明 Distributed SQL Engine - Spark 2.4.5 Documentation (apache.org) The Spark SQL CLI is a convenient tool to
Spark性能优化四 内存
qq_40905284的博客
03-03 1066
Spark性能优化的5中方法
SparkSql内存专题——Spark on YARN Executor整体内存理解
xiaoluobutou的专栏
03-09 902
不管是聚合、还是join； 不管它们占的空间有多大； 不管它们是int类型的，还是一个大json串； 不管实现整个聚合的计算用的是HashAgg 、是ObjectHashAgg 或者是SortAgg； 不管实现整个JOIN的计算用的是SortMergeJoin 、是ShuffleHashJoin 、还是BroadcastHashJoin...
Spark基本原理与使用--Spark SQL
qq_44528357的博客
11-21 915
SparkSQL概念与基本使用
spark-3.2.0修改源码编译，导入IDEA，连接Hive库
liweihope的博客
02-10 1955
文章目录环境Spark修改spark-shell启动LOGO修改pom.xml文件编译源码导入IDEA连接Hive库验证spark-shell启动LOGO的修改 环境 参考官网： https://spark.apache.org/docs/3.2.0/building-spark.html The Maven-based build is the build of reference for Apache Spark. Building Spark using Maven requires Maven
spark入门总结
m0_58024769的博客
11-16 825
spark Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎 支持迭代式计算，图形计算，Spark框架计算比MR快的原因是:中间结果不落盘。注意Spark的Shuffle也是落盘的。 Spark内置模块 Spark Core：Spark的基本功能，含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 S...
spark-sql cli 参数及使用
03-16
Spark-SQL CLI是Spark SQL的命令行界面，可以通过它来执行SQL查询和操作。以下是常用的参数及使用： 1. --master：指定Spark集群的master节点地址，例如--master yarn或--master local。 2. --executor-memory：指定每个executor的内存大小，例如--executor-memory 2g。 3. --driver-memory：指定driver的内存大小，例如--driver-memory 1g。 4. --num-executors：指定executor的数量，例如--num-executors 4。 5. --executor-cores：指定每个executor的CPU核数，例如--executor-cores 2。 6. --jars：指定需要加载的jar包，例如--jars /path/to/jar1,/path/to/jar2。 7. --files：指定需要加载的文件，例如--files /path/to/file1,/path/to/file2。 使用方法： 1. 启动Spark-SQL CLI：在终端输入spark-sql即可启动。 2. 执行SQL查询：在Spark-SQL CLI中输入SQL语句即可执行查询，例如SELECT * FROM table_name。 3. 加载数据：可以使用LOAD命令加载数据，例如LOAD DATA INPATH '/path/to/data' INTO TABLE table_name。 4. 保存数据：可以使用INSERT命令保存数据，例如INSERT INTO TABLE table_name SELECT * FROM another_table。 5. 退出Spark-SQL CLI：在Spark-SQL CLI中输入quit或exit即可退出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值