记一次Spark报错：Failed to allocate a page (67108864 bytes), try again.

最新推荐文章于 2024-04-26 09:51:23 发布
最新推荐文章于 2024-04-26 09:51:23 发布
阅读量2.6k 收藏 3
点赞数
分类专栏： # Spark-SQL 文章标签： spark 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lzx116/article/details/125470279
版权

项目场景：

业务那边给了个需求，我们这边完成的话需要两个表进行join操作，小表（4800万条）大表（26亿条）。典型的小表和大表join，首先想到的就是 Broadcast Join对其进行一个最佳处理。

问题描述

1，开干。
//sc是小表
select /*+  BROADCASTJOIN(sc) */ 
  sc.courseid,
  csc.courseid
from sale_course sc join course_shopping_cart csc
on sc.courseid=csc.courseid
2，打包上集群run，开始出bug
2022-06-22 19:36:56 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:36:57 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:36:59 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:00 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:00 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:01 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:01 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:01 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:03 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:03 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:04 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:05 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:05 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again.
2022-06-22 19:37:05 WARN spark.HeartbeatReceiver: Removing executor 2 with no recent heartbeats: 139818 ms exceeds timeout 120000 ms
2022-06-22 19:37:05 WARN spark.HeartbeatReceiver: Removing executor 5 with no recent heartbeats: 178273 ms exceeds timeout 120000 ms
2022-06-22 19:37:05 WARN spark.HeartbeatReceiver: Removing executor 7 with no recent heartbeats: 162256 ms exceeds timeout 120000 ms
2022-06-22 19:37:05 WARN spark.HeartbeatReceiver: Removing executor 3 with no recent heartbeats: 154289 ms exceeds timeout 120000 ms
2022-06-22 19:37:05 INFO cluster.YarnClusterSchedulerBackend: Requesting to kill executor(s) 2
3,看了下应该是内存不足，打印一下GC日志再瞅瞅
2022-06-22T19:32:04.731+0800: [GC (Allocation Failure) [PSYoungGen: 994157K->47291K(1377280K)] 1061069K->240591K(4076032K), 0.2125657 secs] [Times: user=4.51 sys=0.35, real=0.21 secs] 
2022-06-22T19:32:12.667+0800: [GC (Allocation Failure) [PSYoungGen: 1298524K->69107K(1380352K)] 1491823K->776885K(4079104K), 0.4118997 secs] [Times: user=12.93 sys=1.20, real=0.41 secs] 
2022-06-22T19:32:30.661+0800: [GC (Allocation Failure) [PSYoungGen: 1363073K->305779K(1643520K)] 2070852K->1248436K(4342272K), 0.2067380 secs] [Times: user=6.53 sys=0.68, real=0.21 secs] 
2022-06-22T19:32:49.327+0800: [GC (Allocation Failure) [PSYoungGen: 1583420K->380843K(1685504K)] 2526077K->1558689K(4384256K), 0.2134726 secs] [Times: user=6.50 sys=1.14, real=0.21 secs] 
2022-06-22T19:32:57.628+0800: [GC (Allocation Failure) [PSYoungGen: 1677943K->386985K(1469440K)] 2855790K->1938110K(4168192K), 0.1938505 secs] [Times: user=6.17 sys=0.87, real=0.19 secs] 
2022-06-22T19:33:10.943+0800: [GC (Allocation Failure) [PSYoungGen: 1424669K->489773K(1547776K)] 2975793K->2158027K(4246528K), 0.1824065 secs] [Times: user=6.34 sys=0.27, real=0.19 secs] 
2022-06-22T19:33:18.556+0800: [GC (Allocation Failure) [PSYoungGen: 1523628K->501866K(1313280K)] 4240457K->3578994K(5061120K), 0.1838270 secs] [Times: user=5.74 sys=0.84, real=0.18 secs] 
2022-06-22T19:33:19.956+0800: [GC (Allocation Failure) [PSYoungGen: 1214502K->632842K(1397248K)] 4291630K->3972122K(5145088K), 0.2161871 secs] [Times: user=7.20 sys=0.64, real=0.21 secs] 
2022-06-22T19:33:20.172+0800: [Full GC (Ergonomics) [PSYoungGen: 632842K->0K(1397248K)] [ParOldGen: 3339280K->3514303K(4194304K)] 3972122K->3514303K(5591552K), [Metaspace: 136487K->136476K(1177600K)], 0.6284626 secs] [Times: user=6.74 sys=3.98, real=0.63 secs] 
2022-06-22T19:33:22.153+0800: [GC (Allocation Failure) [PSYoungGen: 726892K->459232K(1398272K)] 4241195K->3973535K(5592576K), 0.0348947 secs] [Times: user=0.96 sys=0.00, real=0.04 secs] 
2022-06-22T19:33:23.347+0800: [GC (Allocation Failure) [PSYoungGen: 1158624K->656153K(1398272K)] 4672927K->4367065K(5592576K), 0.1967581 secs] [Times: user=6.70 sys=0.44, real=0.19 secs] 
2022-06-22T19:33:23.544+0800: [Full GC (Ergonomics) [PSYoungGen: 656153K->131072K(1398272K)] [ParOldGen: 3710911K->4169346K(4194304K)] 4367065K->4300418K(5592576K), [Metaspace: 136485K->136485K(1177600K)], 1.7445365 secs] [Times: user=46.91 sys=10.81, real=1.75 secs] 
2022-06-22T19:33:26.442+0800: [Full GC (Ergonomics) [PSYoungGen: 830464K->524355K(1398272K)] [ParOldGen: 4169346K->4169283K(4194304K)] 4999810K->4693638K(5592576K), [Metaspace: 136485K->136485K(1177600K)], 0.5643075 secs] [Times: user=14.75 sys=0.14, real=0.57 secs] 
2022-06-22T19:33:27.323+0800: [Full GC (Ergonomics) [PSYoungGen: 664059K->589892K(1398272K)] [ParOldGen: 4169283K->4169282K(4194304K)] 4833342K->4759175K(5592576K), [Metaspace: 136485K->136485K(1177600K)], 0.3743719 secs] [Times: user=10.16 sys=0.05, real=0.38 secs] 
2022-06-22T19:33:27.909+0800: [Full GC (Ergonomics) [PSYoungGen: 699392K->655430K(1398272K)] [ParOldGen: 4169282K->4169282K(4194304K)] 4868674K->4824713K(5592576K), [Metaspace: 136485K->136485K(1177600K)], 0.4272478 secs] [Times: user=11.16 sys=0.05, real=0.43 secs] 
2022-06-22T19:33:28.382+0800: [Full GC (Ergonomics) [PSYoungGen: 668779K->655430K(1398272K)] [ParOldGen: 4169282K->4169282K(4194304K)] 4838062K->4824713K(5592576K), [Metaspace: 136486K->136486K(1177600K)], 0.2751700 secs] [Times: user=6.67 sys=0.03, real=0.28 secs] 
2022-06-22T19:33:28.657+0800: [Full GC (Allocation Failure) [PSYoungGen: 655430K->655430K(1398272K)] [ParOldGen: 4169282K->4162677K(4194304K)] 4824713K->4818107K(5592576K), [Metaspace: 136486K->135746K(1177600K)], 0.6008903 secs] [Times: user=17.76 sys=0.08, real=0.60 secs] 
2022-06-22T19:33:29.260+0800: [Full GC (Ergonomics) [PSYoungGen: 659800K->655438K(1398272K)] [ParOldGen: 4162677K->4162674K(4194304K)] 4822477K->4818112K(5592576K), [Metaspace: 135746K->135746K(1177600K)], 1.4037111 secs] [Times: user=46.99 sys=0.27, real=1.40 secs] 
2022-06-22T19:33:30.664+0800: [Full GC (Allocation Failure) [PSYoungGen: 655438K->655431K(1398272K)] [ParOldGen: 4162674K->4162674K(4194304K)] 4818112K->4818105K(5592576K), [Metaspace: 135746K->135746K(1177600K)], 0.1268273 secs] [Times: user=1.35 sys=0.02, real=0.13 secs] 
2022-06-22T19:33:30.792+0800: [Full GC (Ergonomics) [PSYoungGen: 658317K->655447K(1398272K)] [ParOldGen: 4162674K->4162674K(4194304K)] 4820992K->4818121K(5592576K), [Metaspace: 135746K->135746K(1177600K)], 1.2769239 secs] [Times: user=42.48 sys=0.27, real=1.28 secs] 
2022-06-22T19:33:32.069+0800: [Full GC (Allocation Failure) [PSYoungGen: 655447K->655440K(1398272K)] [ParOldGen: 4162674K->4162674K(4194304K)] 4818121K->4818114K(5592576K), [Metaspace: 135746K->135746K(1177600K)], 0.2098295 secs] [Times: user=2.81 sys=0.02, real=0.21 secs] 
2022-06-22T19:33:32.282+0800: [Full GC (Ergonomics) [PSYoungGen: 657391K->655457K(1398272K)] [ParOldGen: 4162674K->4162673

原因分析：

其实看到这我就知道问题出现那里了，内存不足，调整下executor内存和driver内存，一般就可以解决了
但是还是在复习一下广播join吧

1.广播join原理

Spark join策略中，如果当一张小表足够小并且可以先缓存到内存中，那么可以使用Broadcast Hash Join,其原理就是先将小表聚合到driver端，再广播到各个大表分区中，那么再次进行join的时候，就相当于大表的各自分区的数据与小表进行本地join，从而规避了shuffle。

#1,通过参数指定自动广播
广播join默认值为10MB，由spark.sql.autoBroadcastJoinThreshold参数控制。
SparkConf().set("spark.sql.autoBroadcastJoinThreshold","10m")  //开启
SparkConf().set("spark.sql.autoBroadcastJoinThreshold","-1")   //禁用

#2,强制开启广播join
#SQL Hint方式
#sc 必须是join的小表
select /*+  BROADCASTJOIN(sc) */  或 /*+  BROADCAST(sc) */ 或 /*+  MAPJOIN(sc) */
2，说下我的问题

上面说了广播join 会把小表的数据 拉到driver段，所以driver的内存不能给的太小了，给太小就会报错
但是，我把driver内存调大之后还是没解决
因为我的小表的数据量太大了，我们集群内存又没办法给太多，无奈

解决方案：

那咋办？
那就别广播join了，就普通join吧虽然慢些 但是硬件资源就在那摆着那也没办法
最后两个表join了两个小时QAQ

南风知我意丿
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Fatal error: Out of memory (allocated 2252140544) (tried to allocate 67108864 bytes)
snow_love_xia的博客
01-25 676
使用composer安装一些扩展包的时候，很常见的一个问题，如下图所示： 就是内存的问题，我个人很少去修改php.ini文件，一般都是再composer require之前加命令 - COMPOSER_MEMORY_LIMIT=-1 composer require maatwebsite/excel 若是修改php.ini，需要先查看当前homestread使用的php版本，命令为： update-alternatives --display php （查看所有 php 版本和当前版本） 或
AndroidFailedtoallocatememory8错误提示的原因及解决办法
08-28
Android启动模拟器Failedtoallocatememory8错误提示的原因及解决办法
spark错误集锦
最新发布
chanyue123的博客
04-26 960
spark遇到的错误 持续更新
spark 之 运行报错：Failed to allocate a page (67108864 bytes), try again.
py_tamir的博客
07-15 5559
目录： 1、问题：Failed to allocate a page (67108864 bytes), 2、解决 1、问题 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again. 2、解决 spark-submit shell 中 driver 和 executor 的...
spark（sparkSQL）报错 WARN TaskMemoryManager: Failed to allocate a page (bytes), try again.
samur2的博客
02-15 3470
背景 最近在跑 sparkSQL的时候，执行到一半，频繁打印日志报错： WARN TaskMemoryManager: Failed to allocate a page (104876 bytes), try again. WARN TaskMemoryManager: Failed to allocate a page (104876 bytes), try again. … 原因 执行任务的内存不够，需要频繁回收资源 解决办法 1、优化sql脚本。（首选，当时我就是这么解决的） 2、增加driver内
Android 启动模拟器是出现“Failed to allocate memory: 8”错误提示的原因及解决办法
zhujinghao09的专栏
01-09 1459
Android 启动模拟器是出现“Failed to allocate memory: 8”错误，模拟器无法启动，如下图： 原因：设置了不正确AVD显示屏模式，4.0版默认的模式为WVGA800，改成WXGA720后导致不支持。 解决办法：编辑这个AVD，将Skin -> Build in的参数改回默认参数。 欢迎转载并说明转自：http://blog.csdn.net/aminfo/a
记一个Spark Excutor Dead问题解决过程(memory.TaskMemoryManager: Failed to allocate a page)
微步的博客
12-10 1万+
一、问题现象 通过Spark UI查看Excutors，发现存在Excutor Dead的情况     进一步查看dead Excutor stderr日志，发现如下报错信息 WARN memory.TaskMemoryManager: Failed to allocate a page (67108864 bytes), try again   二、解决过程 打开GC日志...
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 2611816 bytes)
10-25
主要介绍了Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 2611816 bytes)错误的解决方法,需要的朋友可以参考下
PHP错误Allowed memory size of 67108864 bytes exhausted的3种解决办法
12-19
说他在安装wordpress安装包时遇到这样一个问题：Fatal error:Allowed memory size of 67108864 bytes exhausted (tried to allocate 76 bytes) in…..这个问题小编以前没遇到过，根据提示肯定是内存溢出造成的。至于...
Android模拟器”Failed To Allocate memory 8″错误如何解决
01-04
Android在启动模拟器AVD时，出现下面的异常：“Failed to allocate memory: 8”，怎么办？ 此错误是我们在允许AVD时，选择了默认的AVD插件所致。 解决方法：减少分配的内存大小。修改AVD的配置文件，将选项“hw.ram...
Android模拟器"Failed To Allocate memory 8"错误如何解决
08-31
主要介绍了Android模拟器"Failed To Allocate memory 8"错误如何解决的相关资料,需要的朋友可以参考下
spark io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s)
onway_goahead的博客
09-03 5643
报错日志： WARN TaskSetManager: Lost task 29.0 in stage 22.0 (TID 1851, wn108-cdlcns.bjduloineequ3adfbkrpgi4p2c.shax.internal.chinacloudapp.cn, executor 25): FetchFailed(BlockManagerId(2, wn107-cdlcns.bjduloineequ3adfbkrpgi4p2c.shax.internal.chinacloudapp.cn
zeppline 报大量的 Failed to allocate a page 错误
weixin_42660215的博客
01-25 1131
跑SQL就报这个问题, spark 很卡 WARN [2019-01-25 07:23:33,827] ({broadcast-exchange-0} TaskMemoryManager.java[allocatePage]:300) - Failed to allocate a page (2097152 bytes), try again. WARN [2019-01-25 07:23:34...
故障：Failed to allocate a 65109516 byte allocation with 4191168 free bytes and 56MB until OOM
weixin_43194854的博客
04-02 4676
AndroidOOM问题描述过程测试方案调试largeHeapde作用hardwareAccelerated作用总结 描述 在执行图片加载或使用bitmap时，图片过大会出现Failed to allocate a 65109516 byte allocation with 4191168 free bytes and 56MB until OOM 过程 经过计算确实发现是由于设备内存不够导致的现象，也是与bitmap或图片加载时占用内存过大导致 测试 方案 通过网上查询，找到方法为添加 android:l
failed to allocate 18.41M (19300352 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY
qq_36362060的博客
06-13 1万+
tensorflow 训练时出现failed to allocate 18.41M (19300352 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY 我在ubuntu16.04中安装的是tensorflow-gpu1.6.0版本的，在使用jupyter notebook训练时出现了failed to allocate 18.41M (19300352 ...
Failed to allocate memory: 8
woshizoe的专栏
02-18 2224
某天，Android 启动模拟器是出现“Failed to allocate memory: 8”错误，模拟器无法启动，如下图： 原因：设置了不正确AVD显示屏模式，4.0版默认的模式为WVGA800，改成WXGA720后导致不支持。 解决办法：编辑这个AVD，将Skin -> Build in的参数改回默认参数。
Failed to allocate skb 错误
01-18 810
在我的研发项目中有个进程不断从网络相机里采集数据，另外一个进程将采集到的图像文件向硬盘里面写。保存到硬盘里里面的数据量较大时，网卡驱动包以下错误。 Failed to allocate skb Failed to re allocate skb prx_desc[00 ffffff800bf25bb0 187 RECEIVED FROM DEVICE] = 0x0:0x0:0x0:0x30208000 我使用的网络相机，mtu设置成1500，网络相机疯狂掉帧，当设置成巨帧 mtu 9000时，就会..
解决“java.lang.OutOfMemoryError: Failed to allocate a allocation until OOM”错误
幽香飞狐的博客
12-27 1万+
android:largeHeap = "true" android:hardwareAccelerated = "false" android:allowBackup="true" android:icon="@mipmap/ic_launcher" android:label="@string/app_name" android:roundIcon="@mipmap/ic_launcher_round" an
GC (Allocation Failure) 那些事
热门推荐
BITDDD小栈
07-07 1万+
GC (Allocation Failure) 那些事 平常写Java程序，经常看到 GC(Allocation Failure) 这个日志，大概查了查意思是是jvm在执行垃圾回收，一般情况下不影响程序运行，只会拖慢程序运行时间。但是经常遇到这个日志还是不爽，今天就盘一下！GC(Allocation Failure)造成的垃圾回收为young gc 又称minor gc。 Demo代码 下面这几行spark代码是经常引起 GC(Allocation Failure) 日志的代码写法，基....
linux报错cpuinfo: failed to allocate shared memory
03-31
这个错误可能是由于系统资源不足导致的。要解决此问题，您可以尝试以下步骤： 1. 尝试重新启动计算机以释放资源。 2. 检查系统内存使用情况，确保有足够的可用内存。您可以使用命令“free -h”来查看当前内存使用情况。 3. 确保您的系统已安装所有更新的软件包。您可以使用命令“sudo apt update”和“sudo apt upgrade”来更新软件包。 4. 如果您正在运行虚拟机，请尝试增加虚拟机的内存限制。您可以在虚拟机设置中更改内存大小。 5. 如果您正在运行多个进程，请尝试关闭一些不必要的进程。您可以使用命令“top”或“htop”来查看当前运行的进程列表。 6. 如果您的系统已经运行了一段时间，请尝试清理一些不必要的文件和缓存。您可以使用命令“sudo apt autoclean”和“sudo apt autoremove”来清理不需要的软件包和依赖关系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值