【spark基础】之client模式下--conf读取外部文件

P1 需求描述

在做spark程序开发的时候，我们经常会遇到需要从外部文件读入数据，进而在程序中进行解析、处理，比如以下场景：

• 1）读入要处理的数据；
• 2）为了不写死代码，将需要的数据以K、V的形式保存在文件中；
• 3）同样是为了代码的可维护性，将sql语句保存在外部sql文件。

P2 环境介绍

本文以spark on yarn下的client为例进行说明

P3 代码说明

1、client模式下，通过submit的--conf命令传入外部文件路径，路径默认是HDFS命令，当然，也可以通过file:///E\\files\\xx.sql命令指定本地目录，spark-submit命令如下：

spark-submit 
--master yarn \
--class cn.lion.sqltest.ReadSqlTest \
--deploy-mode client \
--conf spark.file.fileName=/data/input/sqlTest.sql \
/opt/jars/myspark-1.0-SNAPSHOT.jar

--conf  spark.file.fileName该名称可以自定义，主要由spark开头即可，如spark.xx.xx.xx

2、代码部分

def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder()
      .appName("ReadSqlTest")
//      .master("local[*]")
      .getOrCreate()
    spark.sparkContext.setLogLevel("WARN")

    val fileName = spark.conf.get("spark.file.fileName")

    val sqlData: Dataset[String] = spark.read.textFile(fileName)
    val lineArray: Array[String] = sqlData.collect()
    val sb = new StringBuffer()
    for (elem <- lineArray) {
      sb.append(elem + "\n")
    }
    println(sb.toString)

    spark.stop()
  }

3、说明

示例代码中获取的是sql文件，内部是sql语句，本例是直接将sql语句打印，开发的时候可以根据需要自行调整。

P4 执行过程及结果

1、提交命令

2、client

3、打印结果

 

P5 本文备注

本次只介绍了client模式下获取外部文件的方法，而cluster模式略有不同，driver可能会在任意一台有资源的机器上启动，需要通过分布式文件系统获取文件，后续会进行探讨，敬请期待......