Spark 基础 —— RDD（创建 RDD）的两种方式

弹性分布式数据集（Resilient Distributed Dataset），简称 RDD，RDD 是 Spark 所提供的最基本的数据抽象，代表分布在集群中多台机器上的对象集合。Spark 有两种方法可以创建 RDD：

• 用 SparkContext 基于外部数据源创建 RDD，外部数据源包括
  • HDFS 上的文件
  • 通过 JDBC 访问的数据库表
  • Spark shell 创建的本地对象集合
• 在一个或多个已有 RDD 上执行转换操作来创建 RDD，这写转换操作包括：
  • 记录过滤
  • 对具有相同键值的记录做汇总
  • 多个 RDD 关联在一起

val rdd1 = sc.textFile("")
val rdd2 = sc.parallelize("")

1. 使用 SparkContext 的 textFile 方法得到 RDD 形式的数据引用：

scala> val rawData = sc.textFile("kddcup.data")
rawData: org.apache.spark.rdd.RDD[String]

2. 把数据从集群上获取到客户端

注意此时类型为RDD[String] 的 rawData所引用的数据仍然在集群上存储。RDD 有许多方法，我们可以用其成员方法从集群读取数据到客户端机器上的 Scala REPL 中。最为简单的方法大概就是 first 了，该方法向客户端返回 RDD 的第一个元素（RDD 是弹性分布式数据集嘛）：

scala> rawData.first
res0: String

first 方法可以对数据集做常规检查，但通常我们更想返回更多样例数据供客户端分析。

scala> rawData.count
res1: Long = 4898431

如果 count 方法获悉 RDD 只包含少量记录，可以用 collect 方法向客户端返回一个包含所有 RDD 内容的数组（Array[String]）。此外还可以使用 take 方法该方法在 first 和 collect 之间做了一些折衷，可以向客户端返回一个包含指定数量记录的数组（Array[String]），

scala> val head = rawData.take(10)
head: Array[String] = Array(...)
scala> head(0)
res2: String
scala> head.apply(0)
res3: String