pyspark提交任务依赖模块的解决方案

最新推荐文章于 2024-04-22 13:41:01 发布

靛蓝忆

最新推荐文章于 2024-04-22 13:41:01 发布

阅读量1.4k

点赞数

分类专栏：大数据文章标签： spark hadoop

本文链接：https://blog.csdn.net/u011702633/article/details/110438900

版权

本文介绍了如何处理PySpark任务中对其他模块的依赖，包括直接提交含多个py文件的项目、处理如requests这样的外部库依赖，以及在Yarn上以client和cluster模式运行时的资源配置和优先级设定。

摘要由CSDN通过智能技术生成

pyspark提交任务依赖模块的解决方案

直接提交单个py文件

 spark-submit --deploy-mode client  --driver-memory 2G --executor-memory 2G --executor-cores 3 --num-executors 3 --properties-file /etc/spark/conf/spark-defaults.conf test.py

依赖helper中的代码

test.py

from  helper.util_helper import sub_name
data_converted = data.map(lambda x: (sub_name(x[2][1]), 
                                     sub_name(x[1][1]), sub_name(x[2][1])))

把helper文件夹下的代码压缩

cd /data/apps/modules/jupyter/
zip -r helper.zip helper/

提交命令

 spark-submit --deploy-mode client  --driver-memory 2G --executor-memory 2G --executor-cores 3 --num-executors 3 --properties-file /etc/spark/conf/spark-defaults.conf --py-files ./helper.zip test.py

有其它模块的代码依赖，比如requests

test.py

def get_bd_res():
    import sys
#     return sys.path
    import requests
    url = "http://www.baidu.com"
    payload={
   }
    headers = {
   
      'Cookie':