spark RDD

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。

RDD是一个容错的，只读的，可进行并行操作的数据结构，是一个分布在集群各个节点中的存放元素的集合。

从内存中读取数据创建RDD

从内存中读取数据创建RDD有两种常用的方法，第一种是将内存中已有的Seq集合转化为RDD,第二种是把已有RDD转化成新的RDD。

RDD方法中的flatMap,take,union三种方法。

flatMap()方法将函数参数应用于RDD之中的每一个元素，将返回的迭代器（如数组、列表等）中的所有元素构成新的RDD。

take(N)方法用于获取RDD的前N个元素，返回数据为数组。

union()方法是一种转换操作，用于将两个RDD合并成一个，不进行去重操作，而且两个RDD中每个元素中的值的个数、数据类型需要保持一致。

filter,distinct,intersection三种方法

filter()方法是一种转换操作，用于过滤RDD中的元素。

distinct()方法是一种转换操作，用于RDD的数据去重，去除两个完全相同的元素，没有参数。

intersection()方法用于求出两个RDD的共同元素，即找出两个RDD的交集，参数是另一个RDD，先后顺序与结果无关。

cartesian()

cartesian()方法可将两个集合的元素两两组合成一组，即求笛卡儿积。

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.Row
import org.apache.spark.{SparkConf, SparkContext}
object test04 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("Y")
    val sc = new SparkContext(conf)
    val rdd01 = sc.makeRDD(List(1,3,5,3))
    val rdd02 = sc.makeRDD(List(2,4,5,1))
    rdd01.cartesian(rdd02).collect().foreach(println)
  }
}

创建键值对RDD
键值对RDD有多种创建方式。很多键值对类型的数据在读取时可以直接返回一个键值对RDD。当需要将一个普通的RDD转化为一个键值对RDD时，可以使用map()方法进行操作。

reduceByKey()、groupByKey()

reduceByKey()方法用于合并具有相同键的值，作用对象是键值对，并且只对键的值进行处理。

groupByKey()方法用于对具有相同键的值进行分组，可以对同一组的数据进行计数、求和等操作。

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.Row
import org.apache.spark.{SparkConf, SparkContext}
object test05{
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("Y")
    val sc = new SparkContext(conf)
//    创建RDD
    val rdd = sc.parallelize(List("this is a test","how are you","I am fine","can you tell me"))
//    建立键值对RDD
    val words = rdd.map(x => (x.split(" ")(0),x))
//    查看键值对RDD数据
    words.collect().foreach(println)
//    创建RDD
    val rdd_1 = sc.parallelize(List(('a',1),('a',2),('b',1),('c',1),('c',1)))
//    使用reduceByKey()方法将值相加
    val re_rdd_1 = rdd_1.reduceByKey((a,b) => a+b)
//    查看结果
    re_rdd_1.collect().foreach(println)
//    使用groupByKey（）方法对具有相同键的值进行分组
    val g_rdd = rdd_1.groupByKey()
//    查看分组结果
    g_rdd.collect
//    使用map()方法查看分组后每个分组中的值的数量
    g_rdd.map(x => (x._1,x._2.size)).collect().foreach(println)
  }
}