Spark --files理解

作用

加载外部资源文件,在driver和executor进程中进行访问。

使用方法

添加文件

spark-submit --files file_paths
其中file_paths可为多种方式:file:,hdfs://,http://,ftp://,local:,多个路径用逗号隔开

获取文件

获取文件路径:
filePath = SparkFiles.get(fileName)

获取文件数据流:
executor:inputStream = new FileInputStream(fileName)或者和driver相同
driver: inputStream = new FileInputStream(SparkFiles.get(fileName))

原理

–files和–jars基本相同
当使用spark-submit --files时,会将–files后面的文件路径记录下来传给driver进程,然后当启动driver进程时,会调用SparkFiles.addFile(file_path),并复制文件到driver的临时文件目录中。之后executor启动之后,将从driver这里fetch文件到自己的工作目录。
其中executor fetch files的方式为:
在这里插入图片描述

所以SparkFiles.get(fileName)所得的路径,对于driver就是SparkEnv.get.driverTmpDir+fileName,对于executor就是workDir+fileName。

注意事项

1、in cluster mode ,–files必须使用全局可视的地址(比如hdfs),否则driver将无法找到文件,出现FileNotFoundException。这是因为driver会在集群中任意一台work节点上运行,使用本地地址无法找到文件。FileNotFoundException异常出现在SparkSession的getOrCreate()初始化方法中,因为此方法会调用addFile(),但是确找不到文件,导致SparkSession初始化失败。注意:–jars原理相同,但是getOrCreate()中调用addJars出现异常,但是并不会导SparkSession初始化失败,程序会继续运行。
   值得一提的是,在cluster模式下,spark-submit   --deploy-mode cluster   path-to-jar,其中path-to-jar也必须是全局可视路径,否则会发生找不到jar的异常。所以,这让我觉得spark-submit只是记录了运行的配置,并没有将–files、–jars executor-jar等文件复制并传送给driver程序。

2、在driver中执行的SparkFiles.get(fileName)和executor中执行SparkFiles.get(fileName)结果不同。原理上面已经陈述,driver上和executor上获取的路径并不相同。所以当在driver中使用SparkFiles.get(fileName)获取到文件路径之后,再使用sparkcontext或者sparksession的DataSource API读取文件,则会出现异常。因为读取动作会在每一个executor上执行,但是读取路径是driver上获取得到的,所以找不到文件。

https://stackoverflow.com/questions/37132559/add-jars-to-a-spark-job-spark-submit
以上只是本人的个人总结,但是都是经过实验得到的结论,如有错误,请指正。

  • 8
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值