21、Spark核心编程之创建RDD（集合、本地文件、HDFS文件）

创建RDD

进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。
Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使用HDFS文件创建RDD。

1. 使用程序中的集合创建RDD，主要用于进行测试，可以在实际部署到集群运行之前，自己使用集合构造测试数据，来测试后面的spark应用的流程。
2. 使用本地文件创建RDD，主要用于临时性地处理一些存储了大量数据的文件。
3. 使用HDFS文件创建RDD，应该是最常用的生产环境处理方式，主要可以针对HDFS上存储的大数据，进行离线批处理操作。

并行化集合创建RDD

如果要通过并行化集合来创建RDD，需要针对程序中的集合，调用SparkContext的parallelize()方法。Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。相当于是，集合中的部分数据会到一个节点上，而另一部分数据会到其他节点上。然后就可以用并行的方式来操作这个分布式数据集合，即RDD。
调用parallelize()时，有一个重要的参数可以指定，就是要将集合切分成多少个partition。Spark会为每一个partition运行一个task来进行处理。Spark官方的建议是，为集群中的每个CPU创建2~4个partition。Spark默认会根据集群的情况来设置partition的数量。但是也可以在调用parallelize()方法时，传入第二个参数，来设置RDD的partition数量。比如parallelize(arr, 10)
案例：1到10累加求和
使用Java实现

public class ParallelizeCollection {

    public static void main(String[] args) {
        // 创建SparkConf
        SparkConf sparkConf = new SparkConf().setAppName("ParallelizeCollectionJava").setMaster("local");
        // 创建JavaSparkContext
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

        // 要通过并行化集合的方式创建RDD，那么就调用SparkContext以及其子类，的parallelize()方法
        List<Integer> nums = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);
        // 执行reduce算子操作
        // 相当于，先进行1 + 2 = 3；然后再用3 + 3 = 6；然后再用6 + 4 = 10。。。以此类推
        JavaRDD<Integer> numsRDD = javaSparkContext.parallelize(nums);
        Integer sum = numsRDD.reduce(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        });
        // 输出累加的和
        System.out.println("sum = " + sum);
        // 关闭JavaSparkContext
        javaSparkContext.close();

    }
}

使用Scala实现

object ParallelizeCollection {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("ParallelizeCollectionScala").setMaster("local")
    val sparkContext = new SparkContext(sparkConf)
    val numsRDD = sparkContext.parallelize(1 to 10)
    val sum = numsRDD.reduce(_ + _)
    println("sum = " + sum)
  }
}

使用本地文件和HDFS创建RDD

Spark是支持使用任何Hadoop支持的存储系统上的文件创建RDD的，比如说HDFS、Cassandra、HBase以及本地文件。通过调用SparkContext的textFile()方法，可以针对本地文件或HDFS文件创建RDD。
有几个事项是需要注意的：

1. 如果是针对本地文件的话，如果是在windows上本地测试，windows上有一份文件即可；如果是在spark集群上针对linux本地文件，那么需要将文件拷贝到所有worker节点上。
2. Spark的textFile()方法支持针对目录、压缩文件以及通配符进行RDD创建。
3. Spark默认会为hdfs文件的每一个block创建一个partition，但是也可以通过textFile()的第二个参数手动设置分区数量，只能比block数量多，不能比block数量少。
   案例：文件字数统计，本地文件
   java版本

/**
 * 使用本地文件创建RDD
 * 案例，统计文本文件字数
 */
public class LocalFile {
    public static void main(String[] args) {
        // 创建SparkConf
        SparkConf sparkConf = new SparkConf().setAppName("LocalFileJava").setMaster("local");
        // 创建JavaSparkContext
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
        // 调用SparkContext以及其子类的textFile()方法，针对本地文件创建RDD
        JavaRDD<String> linesRDD = javaSparkContext.textFile("E:\\testdata\\wordcount\\input\\1.txt");
        // 统计文本文件内的字数
        JavaRDD<Integer> wordsRDD = linesRDD.map(new Function<String, Integer>() {
            @Override
            public Integer call(String s) throws Exception {
                return s.length();
            }
        });
        Integer sum = wordsRDD.reduce(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        });

        System.out.println("sum = " + sum);
        javaSparkContext.close();
    }
}

scala版本

object LocalFile {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("LocalFileScala").setMaster("local")
    val context = new SparkContext(conf)
    val words = context.textFile("E:\\testdata\\wordcount\\input\\1.txt")
    val sum = words.map(word => word.length).reduce(_ + _)
    println("sum = " + sum)
  }
}

案例：文件字数统计，HDFS文件
java版本

/**
 * 使用Hdfs文件创建RDD
 * 案例，统计文本文件字数
 */
public class HdfsFile {
    public static void main(String[] args) {
        // 创建SparkConf
        // 修改 去除setMaster()设置，修改setAppName()
        SparkConf sparkConf = new SparkConf().setAppName("HdfsFileJava");
        // 创建JavaSparkContext
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
        // 调用SparkContext以及其子类的textFile()方法，针对Hdfs文件创建RDD
        JavaRDD<String> linesRDD = javaSparkContext.textFile("hdfs://hadoop-100:9000/testdate/1.txt");
        // 统计文本文件内的字数
        JavaRDD<Integer> wordsRDD = linesRDD.map(new Function<String, Integer>() {
            @Override
            public Integer call(String s) throws Exception {
                return s.length();
            }
        });
        Integer sum = wordsRDD.reduce(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        });

        System.out.println("sum = " + sum);
        javaSparkContext.close();
    }
}

scala版本

object HdfsFile {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("HdfsFileScala")
    val context = new SparkContext(conf)
    val words = context.textFile("hdfs://hadoop-100:9000/testdate/1.txt")
    val sum = words.map(word => word.length).reduce(_ + _)
    println("sum = " + sum)
  }
}

使用本地文件和HDFS创建RDD

Spark的textFile()除了可以针对上述几种普通的文件创建RDD之外，还有一些特列的方法来创建RDD：

1. SparkContext.wholeTextFiles()方法，可以针对一个目录中的大量小文件，返回<filename, fileContent>组成的pair，作为一个PairRDD，而不是普通的RDD。普通的textFile()返回的RDD中，每个元素就是文件中的一行文本。
2. SparkContext.sequenceFileK, V方法，可以针对SequenceFile创建RDD，K和V泛型类型就是SequenceFile的key和value的类型。K和V要求必须是Hadoop的序列化类型，比如IntWritable、Text等。
3. SparkContext.hadoopRDD()方法，对于Hadoop的自定义输入类型，可以创建RDD。该方法接收JobConf、InputFormatClass、Key和Value的Class。
4. SparkContext.objectFile()方法，可以针对之前调用RDD.saveAsObjectFile()创建的对象序列化的文件，反序列化文件中的数据，并创建一个RDD。