8.RDD用法

RDD用法

1. RDD概述

1.1 什么是RDD

• RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。

• 弹性

  • 存储的弹性：内存与磁盘的自动切换；
  • 容错的弹性：数据丢失可以自动恢复；
  • 计算的弹性：计算出错重试机制；
  • 分片的弹性：可根据需要重新分片。

• 分布式：数据存储在大数据集群不同节点上

• 数据集：RDD封装了计算逻辑，并不保存数据

• 数据抽象：RDD是一个抽象类，需要子类具体实现

• 不可变：RDD封装了计算逻辑，是不可以改变的，想要改变，只能产生新的RDD，在新的RDD里面封装计算逻辑

• 可分区、并行计算

1.2 核心属性

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LyrdSbTB-1655395995529)(assets/1650981714219.png)]

1.2.1 概述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ox8AWUAK-1655395995530)(assets/1650981280679.png)]

1.2.2 分区列表

• RDD数据结构中存在分区列表，用于执行任务时并行计算，是实现分布式计算的重要属性。

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y0cHpLrB-1655395995530)(assets/1650981426518.png)]

1.2.3 分区计算函数

• Spark在计算时，是使用分区函数对每一个分区进行计算

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qlvPW8n5-1655395995531)(assets/1650981448318.png)]

1.2.4 RDD之间的依赖关系

• RDD是计算模型的封装，当需求中需要将多个计算模型进行组合时，就需要将多个RDD建立依赖关系

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XxXLNsqN-1655395995532)(assets/1650981472945.png)]

1.2.5 分区器（可选）

• 当数据为KV类型数据时，可以通过设定分区器自定义数据的分区

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LJniYOr6-1655395995533)(assets/1650981483175.png)]

1.2.6 首选位置（可选）

• 计算数据时，可以根据计算节点的状态选择不同的节点位置进行计算，移动数据不如移动程序

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lzN4i57M-1655395995534)(assets/1650981496012.png)]

2. wordcount实例分析

2.1 概述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-s4YzNESm-1655395995535)(assets/1650981714219.png)]

2.2 代码实现

package com.gec.demo
import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

object Spark_WordCount {
   

  def main(args: Array[String]): Unit = {
   

    //TODO 0.env/创建环境
    val conf: SparkConf = new SparkConf().setAppName("wordcount").setMaster("local[*]")
    val sc: SparkContext = new SparkContext(conf)

    val lines: RDD[String] = sc.textFile("data/word.txt")

    val words: RDD[String] = lines.flatMap(_.split(" "))

    val wordToOne: RDD[(String, Int)] = words.map((_,1))

    val result: RDD[(String, Int)] = wordToOne.reduceByKey(_+_)
    // 将统计结果打印在控制台上
    result.collect().foreach(println)
  }
}

3. 基础编程

3.1 RDD创建

• 在Spark中创建RDD的创建方式可以分为四种：

3.1.1 从集合（内存）中创建RDD

• 从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD

  val sparkConf =new SparkConf().setMaster("local[*]").setAppName("spark")
  
  val sparkContext = new SparkContext(sparkConf)
  
  val rdd1 = sparkContext.parallelize(
    List(1,2,3,4)
  )
  
  val rdd2 = sparkContext.makeRDD(
    List(1,2,3,4)
  )
  
  rdd1.collect().foreach(println)
  rdd2.collect().foreach(println)
  sparkConte