Spark读取本地文件和HDFS文件

前言

旁边的实习生又一脸懵逼了：Spark有bug，明明我本地/data目录下有test.txt文件，但运行就报错:

Caused by: java.io.FileNotFoundException: File file:/data/test.txt does not exist

我一看，原来小伙子使用spark集群模式来读取仅仅在他自己的客户端存放的一个文本文件

如何读取本地文件

Spark 支持从本地文件系统中读取文件，不过它要求文件在集群中所有节点的相同路径下都可以找到。

读取方式：
如果你的数据已经在集群每个节点的同一个路径下，那么你只需要指定输入为一个 file://路径；Spark 就会自动处理

val df = spark.read.textFile("file:///data/test.txt")

如果文件还没有放在集群中的所有节点上，你可以在驱动器程序中从本地读取该文件而无需使用整个集群，然后再调用 parallelize 将内容分发给工作节点。不过这种方式可能会比较慢，所以推荐的方法是将文件先放到像 HDFS、NFS、S3 等共享文件系统上。

不过我们经常拿一批小量的数据在本地测试，这个时候，就需要使用本地模式来读取本地数据咯

Spark Shell启动本地模式

spark2-shell --master local[2]

启动完成后，就可以读取本地的文件咯：

scala> spark.read.textFile("file:///data/test.txt").show()
+-----+
|value|
+-----+
| 1,zs|
| 2,ls|
| 3,ww|
| 4,zl|
+-----+

Spark Submit启动本地模式

代码：

import org.apache.spark.sql.SparkSession

object Local_HDFS {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder
      .appName(this.getClass.getSimpleName)
      .getOrCreate()
    spark.read.textFile(args(0)).show()
    spark.stop()
  }
}

打包上传后，启动本地模式：

spark2-submit --master local[2] --class test.Local_HDFS Test.jar file:///data/test.txt

这样也能得到结果：

+-----+
|value|
+-----+
| 1,zs|
| 2,ls|
| 3,ww|
| 4,zl|
+-----+

注意：Jar包放在客户端本地和HDFS都可以