Spark.2.2源码阅读: SPARK SUBMIT任务提交

最新推荐文章于 2023-02-22 11:29:34 发布

九师兄

最新推荐文章于 2023-02-22 11:29:34 发布

阅读量3k

点赞数

分类专栏：大数据-spark

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/80029862

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了如何使用`spark-submit`脚本提交Spark应用程序到集群，详细解析了提交过程涉及的参数、配置以及源码中的关键步骤，包括设置应用程序入口、指定Master URL、选择部署模式等。在执行过程中，`spark-submit`会调用`SparkSubmit`类并根据传入参数准备提交环境，最终执行用户程序。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.编写程序

当我们编写了一个程序后。

package com.llcc.sparkSql.text

import org.apache.spark.sql.{Row, SQLContext, SparkSession}

import org.apache.spark.sql.types.{StringType, StructField, StructType}

object SparkSQLTest {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().getOrCreate()
    val peopleRDD = spark.sparkContext.textFile("J:\\00-IDEA\\work\\SparkSQLTest\\example\\people.txt")
    val schemaString = "name age"
    val fields = schemaString.split(" ").map(fieldName => StructField(fieldName, StringType, nullable = true))
    val schema = StructType(fi

了解本专栏