Spark Core API

一、SparkContext

       SparkContext是一个在Spark库中定义的类。它是Spark库的入口点。它表示与Spark集群的一个连接。每个Spark应用程序都必须创建一个SparkContext类实例。目前，每个Spark应用程序只能拥有一个激活的SparkContext类实例。如果要创建一个新的实例，那么必须让当前激活的实例失活。

  val config = new SparkConf().setMaster("spark://host:port").setAppName("big app")

  val sc =new SparkContext(config) 

二、创建RDD

• parallelize

     从本地Scala集合创建RDD实例。它会对Scala集合中的数据重新分区、重新分布，然后返回一个代表这些数据的RDD。这个方法很少用在生产上，但它有助于学习。

val xs = (1 to 100000).toList

val rdd = sc.parallelize(xs)

• textFile

      textFile方法用于从文本文件创建RDD实例。它可以从多种来源读取数据，包括单个文件、本地同一目录的多个文件、HDFS、Amazon S3,或其他Hadoop支持的存储系统，这个方法返回一个RDD，这个RDD代表的数据集每个元素都是一个字符串，每一个字符串代表输入文件中的一行。

    textFile可以读取压缩文件中的数据。而且，它的参数中存在通配符，用于从一个目录中读取多个文件，textFile第二个参数是一个可选参数，用于制定分区的个数。默认情况下，Spark为每一个文件分块创建一个分区。可以设置成一个更大的数字从而提高并行化程度，但是设置成一个小于文件分块数是不可以的。

   val rdd = sc.textFile("hdfs://namenode:9000/path/to/file-or-directory/*.gz")

• wholeTextFiles

这个方法读取目录下的所有文本文件，然后返回一个由键值对RDD。返回RDD中的每一个键值对对应一个文件。键为文件路径，对应的值为该文件的内容。这个方法可以从多种来源读取文件。

  val rdd =sc.wholeTextFiles("/path/to/file-or-directory/*.txt")

• sequenceFile

  sequenceFile方法从SequenceFile文件中获取键值对数据。这个方法返回一个键值对型RDD实例。当使用这个方法的时候，不仅需要提供文件名，还需要提供文件中数据键和值各自的类型

  val rdd = sc.sequenceFile[String,String]("soem-file")

三、RDD操作

    RDD操作可以归为两类：转换（Transformations）和行动（action）。转换将会转换将会创建一个新的RDD实例。行动则会将结果返回给驱动程序。

Transformations转换算子：转换指的是在原RDD实例上进行计算，而后创建一个新的RDD实例。Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Trans