理解Spark中RDD（Resilient Distributed DataSet）

1。Spark围绕弹性分布式数据集（RDD）的概念展开，RDD是一个可以并行操作的容错的容错集合。 创建RDD有两种方法：并行化驱动程序中的现有集合，或引用外部存储系统中的数据集，例如共享文件系统，HDFS，HBase或提供Hadoop InputFormat的任何数据源。

val sc = spark.sparkContext

 // 已有内部数据源

val data = Array(1, 2, 3, 4, 5)

val disData = sc.parallelize(data)

 

// 外部数据源

val distFile = sc.textFile("xxxx.txt”)

 

 

2.有关使用Spark读取文件的一些注意事项

 

• 如果在本地文件系统上使用路径，则还必须可以在工作节点上的相同路径上访问该文件。 将文件复制到所有工作者或使用网络安装的共享文件系统。

 

• Spark的所有基于文件的输入方法（包括textFile）都支持在目录，压缩文件和通配符上运行。 例如，您可以使用textFile（“/ my / directory”），textFile（“/ my / directory / * .txt”）和textFile（“/ my / directory / * .gz”）。

 

• textFile方法还采用可选的第二个参数来