SparkContext.textFile读取文件

SparkContext.textFile读取文件

SparkContext提供了 textFile() 方法用于按行读取文本文件，返回RDD。

用法:

sc.textFile(path: String, minPartitions: Int)

sc： SparkContext 对象
path：本地文件路径或 hdfs:// ， s3a:// 等Hadoop支持的文件系统URI
minPartitions：可选参数，指定数据的最小分区
默认情况下，Spark为文件的每个块创建一个分区（HDFS中一个块默认为128MB），可以通过 minPartitions 参数来设置更多分区。请注意，分区数不能少于块数。

读取单个文件

直接将文件路径作为 path 参数传入 textFile() 读取单个文件，返回每行内容的RDD。

val rdd = sc.textFile("/path/text.txt")

读取多个文件

如果要读取的多个指定文件，使用逗号分隔文件名传入 textFile() 即可。

val rdd = sc.textFile("/path/test01.txt,/path/test02.txt")

读取路径下所有文件

path 可传入文件路径来读取路径下所有文件。

val rdd = sc.textFile("/path/")

使用通配符读取多个文件

文件路径中可以使用通配符来读取多个文件。

val rdd1 = sc.textFile("/path/*.txt")  // 读取路径所有txt文件
val rdd2 = sc.textFile("/path/*/*.txt")  // 读取多个目录下的文件

从HDFS读取文件

从HDFS中读取文件和读取本地文件一样，只是要在URI中表明是HDFS。上面的所有读取方式也都适用于HDFS。

val rdd = sc.textFile("hdfs://master:9000/examples/data.txt")

完整代码

package com.sparkexamples.spark.rdd

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SparkSession

object ReadTextFileExample {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .master("local[1]")
      .appName("SparkExample")
      .getOrCreate()

    val sc = spark.sparkContext

    // 读取单个文件
    val rdd1:RDD[String] = sc.textFile("/path/test01.txt")
    rdd1.foreach(println)

    // 读取多个文件
    val rdd2:RDD[String] = sc.textFile("/path/test01.txt,/path/test02.txt")
    rdd2.foreach(println)

    // 读取路径下所有文件
    val rdd3:RDD[String] = sc.textFile("/path/resources/")
    rdd3.foreach(println)

    // 通配符示例-读取路径所有txt文件
    val rdd4:RDD[String] = sc.textFile("/path/*.txt")
    rdd4.foreach(println)

    // 通配符示例-读取多个目录下的文件
    val rdd5:RDD[String] = sc.textFile("/path/*/*.txt")
    rdd5.foreach(println)

    // 读取HDFS文件
    val rdd6:RDD[String] = sc.textFile("hdfs://master:9000/examples/data.txt")
    rdd6.collect.foreach(println)
  }
}