大数据学习笔记 3.2 RDD算子学习_6、演示filter算子的用法(rdd)-CSDN博客

Spark用Scala语言实现了RDD的API，程序开发者可以通过调用API对RDD进行操作处理。RDD经过一系列的“转换”操作，每一次转换都会产生不同的RDD，以供给下一次“转换”操作使用，直到最后一个RDD经过“行动”操作才会被真正计算处理，并输出到外部数据源中，若是中间的数据结果需要复用，则可以进行缓存处理，将数据缓存到内存中。

二、RDD算子

RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转换（Transformation）算子和行动（Action）算子。

1、转换算子

RDD处理过程中的“转换”操作主要用于根据已有RDD创建新的RDD，每一次通过Transformation算子计算后都会返回一个新RDD，供给下一个转换算子使用。
常用转换算子操作的API

转换算子	相关说明
filter(func)	筛选出满足函数func的元素，并返回一个新的数据集
map(func)	将每个元素传递到函数func中，返回的结果是一个新的数据集
flatMap(func)	与map()相似，但是每个输入的元素都可以映射到0或者多个输出结果
groupByKey()	应用于（Key，Value）键值对的数据集时，返回一个新的（Key，Iterable <Value>）形式的数据集
reduceByKey(func)	应用于（Key，Value）键值对的数据集时，返回一个新的（Key，Value）形式的数据集。其中，每个Value值是将每个Key键传递到函数func中进行聚合后的结果

2、行动算子

行动算子主要是将在数据集上运行计算后的数值返回到驱动程序，从而触发真正的计算。
常用行动算子操作的API

行动算子	相关说明
count()	返回数据集中的元素个数
first()	返回数组的第一个元素
take(n)	以数组的形式返回数组集中的前n个元素
reduce(func)	通过函数func（输入两个参数并返回一个值）聚合数据集中的元素
collect()	以数组的形式返回数据集中的所有元素
foreach(func)	将数据集中的每个元素传递到函数func中运行

三、准备工作

1、准备文件

1.1、准备本地文件

在/home目录里创建words.txt

1.2、把文件上传到HDFS

将words.txt上传到HDFS系统的/park目录里

查看文件内容

2、启动Spark Shell

2.1、启动HDFS服务

执行命令：start-dfs.sh

2.2、启动Spark服务

执行命令：start-all.sh

2.3、启动Spark Shell

执行名命令： spark-shell --master spark://master:7077

以集群模式启动的Spark Shell，不能访问本地文件，只能访问HDFS文件，加不加hdfs://192.168.219.75:9000前缀都是一样的效果。

四、掌握转换算子

转换算子负责对RDD中的数据进行计算并转换为新的RDD。Spark中的所有转换算子都是惰性的，因为它们不会立即计算结果，而只是记住对某个RDD的具体操作过程，直到遇到行动算子才会与行动算子一起执行。

1、映射算子 - map()

1.1、映射算子功能

map()是一种转换算子，它接收一个函数作为参数，并把这个函数应用于RDD的每个元素，最后将函数的返回结果作为结果RDD中对应元素的值。

1.2、映射算子案例

执行命令：val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))

将rdd1每个元素翻倍得到rdd2
对rdd1应用map()算子，将rdd1中的每个元素平方并返回一个名为rdd2的新RDD

上述代码中，向算子map()传入了一个函数x = > x * 2。其中，x为函数的参数名称，也可以使用其他字符，例如a => a * 2。Spark会将RDD中的每个元素传入该函数的参数中。
其实，利用神奇占位符_可以写得更简洁

rdd1和rdd2中实际上没有任何数据，因为parallelize()和map()都为转化算子，调用转化算子不会立即计算结果。

若需要查看计算结果，则可使用行动算子collect()。（collect是采集或收集之意）
执行rdd2.collect进行计算，并将结果以数组的形式收集到当前Driver。因为RDD的元素为分布式的，数据可能分布在不同的节点上。

将rdd1每个元素平方得到rdd2
方法一、采用普通函数作为参数传给map()算子

方法二、采用下划线表达式作为参数传给map()算子

转化成整数

利用映射算子打印菱形
Spark Shell里实现
菱形正立的等腰三角形和倒立的等腰三角形组合而成
右半菱形

加上前导空格，左半菱形

前导空格折半，显示菱形

在IDEA里创建项目实现

import org.apache.spark.{SparkConf, SparkContext}
import scala.collection.mutable.ListBuffer
import scala.io.StdIn

object Example01 {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("PrintDiamond") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置（本地调试）
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 输入一个奇数
    print("输入一个奇数：")
    val n = StdIn.readInt()
    // 创建一个可变列表
    val list = new ListBuffer[Int]()
    // 给列表赋值
    (1 to n by 2).foreach(list.append(_))
    (n - 2 to 1 by -2).foreach(list.append(_))
    // 基于列表创建rdd
    val rdd = sc.makeRDD(list)
    // 对rdd进行映射操作
    val rdd1 = rdd.map(i => " " * ((n - i) /2 ) + "*" * i)
    // 输出rdd1结果
    rdd1.collect.foreach(println)
  }

}