4.SparkCore-数据读取与保存

数据读取与保存

        当我们将一个文本文件读取为 RDD 时，输入的每一行 都会成为RDD的一个元素。也可以将多个完整的文本文件一次性读取为一个pair RDD， 其中键是文件名，值是文件内容。

        val input = sc.textFile("./README.md")

        如果传递目录，则将目录下的所有文件读取作为RDD。

                文件路径支持通配符。

        通过wholeTextFiles()对于大量的小文件读取效率比较高，大文件效果没有那么高。

        Spark通过saveAsTextFile() 进行文本文件的输出，该方法接收一个路径，并将 RDD 中的内容都输入到路径对应的文件中。Spark 将传入的路径作为目录对待，会在那个 目录下输出多个文件。这样，Spark 就可以从多个节点上并行输出了。

package chapter2
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object TextFile_And_WholeTextFile_Demo {
  def main(args: Ar