【Dolphinscheduler】提交pyspark单文件到yarn集群

郝少

已于 2022-05-23 11:51:43 修改

阅读量3.9k

点赞数 4

分类专栏： DolphinScheduler 大数据文章标签： yarn spark

于 2022-01-18 16:29:08 首次发布

本文链接：https://blog.csdn.net/hyj_king/article/details/122562335

版权

DolphinScheduler 同时被 2 个专栏收录

12 篇文章 27 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

大数据

161 篇文章 6 订阅

订阅专栏

本文介绍了如何在Dolphinscheduler（DS）1.3.4版本中，提交pyspark单文件任务到YARN集群进行执行。详细步骤包括测试环境配置、Python代码准备、依赖环境上传、DS资源中心的文件上传及Spark工作流创建。在执行过程中，遇到了资源文件不存在和YARN日志报Hive错误的问题，经过排查解决后，成功运行任务。

摘要由CSDN通过智能技术生成

一、测试环境

DS：1.3.4

Ambari：2.6.3.0-235

二、python测试代码，dspythontest.py

import os
import pandas as pd
from pyspark.sql import SparkSession

from argparse import ArgumentParser

spark = SparkSession \
    .builder \
    .appName("ds python test") \
    .enableHiveSupport() \
    .getOrCreate()


def main(args):
    coc = ['red', 'rellow']
    c_df = pd.DataFrame(coc,columns=['color'])
    c_df['len']=c_df['color'].apply(len)
    c_df = spark.createDataFrame(c_df)
    c_df.show()
    print(args.arch)


if __name__ == '__main__':
    parser = ArgumentParser()
    parser.add_argument("--arch", default='be