spark内存溢出解决方案

最新推荐文章于 2024-02-21 10:19:25 发布

xiedelong

最新推荐文章于 2024-02-21 10:19:25 发布

阅读量697

点赞数

分类专栏：大数据文章标签： spark big data hive

本文链接：https://blog.csdn.net/xiedelong/article/details/120533825

版权

大数据专栏收录该内容

16 篇文章 1 订阅

订阅专栏

该博客介绍了如何通过PySpark解决大数据处理中遇到的内存和时长限制问题。当dt分区过多导致数据量过大时，可以采用预先定义的Spark脚本来动态分区，并通过shell脚本循环调用来按dt进行分步处理。设置如executor-memory、num-executors等参数以优化资源分配，确保作业能成功完成。

摘要由CSDN通过智能技术生成

背景

使用 pyspark 跑数据的时候，如果 dt 分区过多数据量过大，或者公司集群有内存、时长限制，会导致 job 提前结束

解决方案

先定义 spark 脚本

#!/usr/bin/python
# -*-coding:utf-8 -*-
import datetime
from pyspark.sql import SparkSession
import sys

spark = SparkSession \
    .builder \
    .enableHiveSupport() \
    .config("hive.exec.dynamici.partition", "true") \
    .config("hive.exec.dynamic.partition.mode", "nonstrict") \
    .getOrCreate()

diff_day = int(sys.argv[1])
dt= datetime.datetime.strftime((datetime.datetime.now() - datetime.timedelta(diff_day)), "%Y%m%d")
df = spark.sql("""select * from table where dt = '{dt}'""".format(dt=dt))

然后写 shell 脚本，循环调用，并传递参数

#!/bin/sh
for diff_day in 1 2 3 4 5 6 7 8 9 10;
do
    echo ${diff_day}
    sudo -uxxx PYSPARK_PYTHON=./python_env/py37/bin/python3  /xxx/spark-2.3.3-bin-hadoop2.7/bin/spark-submit  --master yarn-cluster  --executor-memory 18G  --conf spark.driver.maxResultSize=4g  --num-executors 30 --executor-cores 4  --archives hdfs://xxx/envs/py37.zip#python_env --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./python_env/py37/bin/python3  --conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=./python_env/py37/bin/python3  --conf spark.executorEnv.PYSPARK_PYTHON=./python_env/py37/bin/python3  --conf spark.executorEnv.PYSPARK_DRIVER_PYTHON=./python_env/py37/bin/python3  /xxx/test.py >> /xxx/logs/test.log 2>&1 ${diff_day}
done