SparkSQL分区OutOfMemory

最新推荐文章于 2024-08-19 03:57:24 发布
最新推荐文章于 2024-08-19 03:57:24 发布
阅读量497 收藏 1
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhxsir/article/details/103720096
版权

由于SparkSQL默认200个分区，为了处理小文件决定使用reparation和coalesce重分区，代码如下

（一）df_1.coalesce(1).createOrReplaceTempView(“table_tmp”)
竟然报错。。

Job aborted due to stage failure: Task 1 in stage 8.0 failed 4 times, most recent failure: Lost task 1.3 in stage 8.0 (TID 642, svldl061.csvw.com, executor 8): org.apache.spark.SparkException: Task failed while writing rows.

查看执行过程
在这里插入图片描述
具体原因有待研究？？
（二）df_1.repartition(1).createOrReplaceTempView(“table_tmp”)
运行成功了！！！
查看执行过程（和上面几乎一样，不过少了Coalesce这关键一步！！！）
在这里插入图片描述
在这里插入图片描述
区别在于coalesce第八步只有1个分区，repartition第八步有200个分区。

lhxsir
关注
专栏目录
Spark-SparkSQL深入学习系列八（转自OopsOutOfMemory）
阿里Darker
05-11 710
/** Spark SQL源码分析系列文章*/  在SQL的世界里，除了官方提供的常用的处理函数之外，一般都会提供可扩展的对外自定义函数接口，这已经成为一种事实的标准。   在前面Spark SQL源码分析之核心流程一文中，已经介绍了Spark SQL Catalyst Analyzer的作用，其中包含了ResolveFunctions这个解析函数的功能。但是随着Spark1.
10w分区表,hive能跑,sparksql运行也完全能跑起来
段智华的博客
04-10 4108
1,问题来源: 对于有几个万分区的分区表，sparksql一跑就挂，但hive不会，请问怎么处理 执行sql: ga10.coin_gain_lost是一个有几万个分区的分区表 date字段是一级分区 Caused by:org.apache.thrift.transport.TTransportException: Frame size (47350517) largerthan ma
Spark SQL Catalyst源码分析之Optimizer
OopsOutOfMemory盛利的博客
07-25 9072
Spark SQL 中Catalyst的核心优化器Optimizer源码剖析
Spark SQL Catalyst源码分析之Physical Plan
OopsOutOfMemory盛利的博客
07-28 1万+
Spark SQL之Catalyst的物理计划，讲解了物理计划的产生过程，以及涉及到的策略。
sql server 跑久了内存溢出
最新发布
weixin_40807934的博客
08-19 88
SQL Server内存溢出：原因与解决方案 SQL Server是许多企业和组织中广泛使用的关系数据库管理系统（RDBMS）。尽管其性能优越，但在长期运行过程中，可能会出现内存溢出的问题。内存溢出不仅会导致数据库的性能下降，还可能导致系统崩溃，严重影响业务正常运营。本文将探讨 SQL Server 内存溢出的问题，分析其...
SparkSQL 学习笔记----自动分区推断
weixin_42102379的博客
04-25 926
1、表分区 表分区是一种常见的优化方式。比如hive中就提供了表分区的特性。 在一个分区表中，不同分区的数据通常存储在不同目录中，分区列的值通常就包含在了分区目录的目录名中。 SparkSQL中的Parquet数据源，支持自动根据目录名推断出分区信息。例如，如果将人口数据存储在分区表中，并且使用性别和国家作为分区列，那么目录结构可能如下所示 tableName |- gender=male ...
spark sql重分区
hua_ed的专栏
11-08 1397
spark sql重分区
SparkSql 常用参数配置
weixin_42754171的博客
11-25 3356
SparkSql 常用参数配置： 1、常用持久化： RDD层面： ​ 持久化cache：内存 ​ MEMORY_ONLY_SER:序列化（启用sparkkryo序列化）有效降低内存占用，但耗费更多cpu性能序列化，而且还要注册需要序列化的类； ​ 以yarn集群为例，一般数据可靠性要求高，memory and disk，yarn资源充足memory 的java序列化即可，yarn资源不充足可以采用kryo序列化； DFrame&DataSet持久化： ​ cache：默认Memory and Dis
SparkSQL简介
zx8167107的博客
12-13 2217
日期 版本 修订 审批 修订说明 2016.10.20 1.0 章鑫8 初始版本   1 简介 SparkSQL是Spark的一个组件，用于结构化数据的计算，SparkSQL提供了一个称为DataFrames的编程抽象，DataFrames可以充当分布式SQL查询引擎。 与SparkSQL紧密相关的组件是Shark和hive，其中Shark已经被开发者摒弃。 2
SparkSQL知识点总结
默主归沙的博客
06-06 3975
零基础学sparksql
Spark基础开发与sparkSql开发
weixin_42660202的博客
03-22 2618
spark与sparksql开发
Spark java.lang.OutOfMemoryError: Java heap space
伏虎游侠的博客
05-18 2390
http://stackoverflow.com/questions/21138751/spark-java-lang-outofmemoryerror-java-heap-space?rq=1 My cluster: 1 master, 11 slaves, each node has 6 GB memory. My settings: spark.executor.m
Spark OOM：java heap space，OOM:GC overhead limit exceeded解决方法
weixin_30521649的博客
01-18 1025
问题描述： 在使用spark过程中，有时会因为数据增大，而出现下面两种错误: java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError：GC overhead limit exceeded 这两种错误之前我一直认为是executor的内存给的不够，但是仔细分析发现其实并不是executor内存给的不足，而是...
spark（oom内存溢出异常（out of memory））介绍1
dci75702的博客
03-25 309
建立如图maven工程 maven的pom文件内容参考别的随笔 参考pom文件内容 同时记得添加scala oom内存溢出异常（out of memory） ...
Spark分区方式详解
热门推荐
dmy1115143060的博客
09-11 1万+
一、Spark数据分区方式简要              在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组，其中Partition是数组中的每个元素，并且这些元素分布在多台机器中。...
大数据｜使用Apache Spark 删除指定表中的指定分区数据
weixin_44435110的博客
07-26 1196
Apache Spark 是一个强大的分布式数据处理引擎，支持多种数据处理模式。在处理大型数据集时，经常需要对数据进行分区，以提高处理效率。有时，为了维护数据或优化查询性能，需要删除指定表中的指定分区数据。本文档将介绍如何使用 Spark SQL 和 DataFrame API 来删除指定表中的指定分区数据，并提供使用时的注意事项以及常见相关问题及其处理方法。
Spark SQL 查询中 Coalesce 和 Repartition 暗示（Hint）
javawins的专栏
01-28 4711
如果你使用 Spark RDD 或者 DataFrame 编写程序，我们可以通过 coalesce或 repartition 来修改程序的并行度： val data = sc.newAPIHadoopFile(xxx).coalesce(2).map(xxxx) 或 val data = sc.newAPIHadoopFile(xxx).repartition(2).ma...
Spark：重分区函数
feizuiku0116的博客
11-21 383
repartition：增加分区函数 此函数使用的谨慎，会产生Shuffle。 >>> rdd = sc.parallelize([1,2,3,4,5,6,7], 4) >>> sorted(rdd.glom().collect()) [[1], [2, 3], [4, 5], [6, 7]] >>> len(rdd.repartition(2).glom().collect()) 2 >>> len..
Spark执行过程出现outofmemory错误的解决方案
冰城警幻的博客
06-08 5167
进入Spark的conf目录，找到spark-env.sh文件，添加如下值： export SPARK_WORKER_MEMORY=4g export SPARK_WORKER_INSTANCES=2 export SPARK_EXECUTOR_MEMORY=4g export SPARK_DRIVER_MEMORY=4g export SPARK_JAVA_OPTS="-Xms2048m -X
linux out of memory
08-02
回答: 当Linux系统出现"out of memory"错误时，有几种解决方法可以尝试。首先，最简单的方法是增加内存或者优化应用程序，使其占用更少的内存。另外，可以通过调整内核参数来临时解决该问题。可以使用命令"free -lm"来查看内存使用情况，然后根据需要释放内存。可以通过修改配置文件"/proc/sys/vm/drop_caches"来释放缓存，其中的值可以为0~3，代表不同的含义，例如释放页缓存、释放dentries和inodes，或者释放所有缓存。此外，还可以通过关闭OOM killer来临时关闭内存溢出杀手，可以通过修改"/proc/sys/vm/oom_dump_tasks"文件来实现。如果需要永久生效，可以修改"/etc/sysctl.conf"文件并增加"vm.oom-kill = 0"的配置，然后重启系统或执行"sysctl -p"命令使其生效。[1] 另外，如果系统配置为2G且没有交换分区，可能会导致每天出现"out of memory"错误。在这种情况下，可以增加物理内存并创建交换分区来改善情况。然而，如果系统在运行2-3天后仍然出现"out of memory"错误，可能是由于low memory不足导致的。可以通过使用命令"sync"和"echo 3 >> /proc/sys/vm/drop_caches"来释放内存，并查看"/proc/buddyinfo"文件来确认内存是否已被释放。[3] 另外，如果以上方法无效，还可以考虑安装hugemem kernel RPM包并重启系统来解决问题。这种内核可以以不同的方式分割low memory和high memory，并提供足够多的low memory到high memory的映射。[2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值