Spark 中的算子

最新推荐文章于 2022-06-01 20:23:26 发布
最新推荐文章于 2022-06-01 20:23:26 发布
阅读量564 收藏 1
点赞数
分类专栏： spark 文章标签： 大数据 spark hive hadoop scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1786742005/article/details/107886230
版权
本文详细介绍了Spark中的转换算子，包括map、mapPartitions、filter、groupBy等23种算子的用法和示例，帮助理解Spark数据处理过程。
摘要由CSDN通过智能技术生成

一、转换算子

value 类型：

1.1 map 算子

1、算子签名

def map[U: ClassTag](f: T => U): RDD[U]

2、算子说明

将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。

3、代码演示

package spark.core.conversion_operator.map

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

/**
 * map 算子介绍
 */
object Spark_RDD_Operator_Map_Study1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))

    // 转换：旧 RDD -> 算子 -> 新 RDD
    // 简化过程：
//    var rdd1: RDD[Int] = rdd.map((i: Int) => {
   
//      i * 2
//    })
//    var rdd1: RDD[Int] = rdd.map((i: Int) => i * 2)
//    var rdd1: RDD[Int] = rdd.map((i) => i * 2)
//    var rdd1: RDD[Int] = rdd.map(i => i * 2)
    val rdd1: RDD[Int] = rdd.map(_ * 2)

    // 读取数据
    // collect 方法不回转换 RDD，会触发作业的执行，所以将 collect 这样的方法称为行动算子(action)。
    val ints: Array[Int] = rdd1.collect()
    for (elem <- ints) {
   
      print(elem + " ")
    }

    sc.stop()
  }
}

运算结果：
在这里插入图片描述

4、demo
(1) 说明
从日志数据中获取用户请求 URL 资源路径

(2) 数据

83.149.9.216 - - 17/05/2015:10:05:03 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-search.png
83.149.9.216 - - 17/05/2015:10:05:43 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-dashboard3.png
83.149.9.216 - - 17/05/2015:10:05:47 +0000 GET /presentations/logstash-monitorama-2013/plugin/highlight/highlight.js
83.149.9.216 - - 17/05/2015:10:05:12 +0000 GET /presentations/logstash-monitorama-2013/plugin/zoom-js/zoom.js
83.149.9.216 - - 17/05/2015:10:05:07 +0000 GET /presentations/logstash-monitorama-2013/plugin/notes/notes.js
83.149.9.216 - - 17/05/2015:10:05:34 +0000 GET /presentations/logstash-monitorama-2013/images/sad-medic.png
83.149.9.216 - - 17/05/2015:10:05:57 +0000 GET /presentations/logstash-monitorama-2013/css/fonts/Roboto-Bold.ttf
83.149.9.216 - - 17/05/2015:10:05:50 +0000 GET /presentations/logstash-monitorama-2013/css/fonts/Roboto-Regular.ttf
83.149.9.216 - - 17/05/2015:10:05:24 +0000 GET /presentations/logstash-monitorama-2013/images/frontend-response-codes.png
83.149.9.216 - - 17/05/2015:10:05:50 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-dashboard.png
83.149.9.216 - - 17/05/2015:10:05:46 +0000 GET /presentations/logstash-monitorama-2013/images/Dreamhost_logo.svg
83.149.9.216 - - 17/05/2015:10:05:11 +0000 GET /presentations/logstash-monitorama-2013/images/kibana-dashboard2.png
83.149.9.216 - - 17/05/2015:10:05:19 +0000 GET /presentations/logstash-monitorama-2013/images/apache-icon.gif
83.149.9.216 - - 17/05/2015:10:05:33 +0000 GET /presentations/logstash-monitorama-2013/images/nagios-sms5.png
83.149.9.216 - - 17/05/2015:10:05:00 +0000 GET /presentations/logstash-monitorama-2013/images/redis.png
83.149.9.216 - - 17/05/2015:10:05:25 +0000 GET /presentations/logstash-monitorama-2013/images/elasticsearch.png
83.149.9.216 - - 17/05/2015:10:05:59 +0000 GET /presentations/logstash-monitorama-2013/images/logstashbook.png
83.149.9.216 - - 17/05/2015:10:05:30 +0000 GET /presentations/logstash-monitorama-2013/images/github-contributions.png
83.149.9.216 - - 17/05/2015:10:05:53 +0000 GET /presentations/logstash-monitorama-2013/css/print/paper.css
83.149.9.216 - - 17/05/2015:10:05:24 +0000 GET /presentations/logstash-monitorama-2013/images/1983_delorean_dmc-12-pic-38289.jpeg
83.149.9.216 - - 17/05/2015:10:05:54 +0000 GET /presentations/logstash-monitorama-2013/images/simple-inputs-filters-outputs.jpg
83.149.9.216 - - 17/05/2015:10:05:33 +0000 GET /presentations/logstash-monitorama-2013/images/tiered-outputs-to-inputs.jpg
83.149.9.216 - - 17/05/2015:10:05:56 +0000 GET /favicon.ico
24.236.252.67 - - 17/05/2015:10:05:40 +0000 GET /favicon.ico
93.114.45.13 - - 17/05/2015:10:05:14 +0000 GET /articles/dynamic-dns-with-dhcp/
93.114.45.13 - - 17/05/2015:10:05:04 +0000 GET /reset.css
93.114.45.13 - - 17/05/2015:10:05:45 +0000 GET /style2.css
93.114.45.13 - - 17/05/2015:10:05:14 +0000 GET /favicon.ico
93.114.45.13 - - 17/05/2015:10:05:17 +0000 GET /images/jordan-80.png
93.114.45.13 - - 17/05/2015:10:05:21 +0000 GET /images/web/2009/banner.png
66.249.73.135 - - 17/05/2015:10:05:40 +0000 GET /blog/tags/ipv6
50.16.19.13 - - 17/05/2015:10:05:10 +0000 GET /blog/tags/puppet?flav=rss20

(3) 代码

package spark.core.conversion_operator.map

import org.apache.spark.{
   SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

/**
 * 使用 map 算子做的一个 demo，处理一下日志数据。
 */
object Spark_RDD_Operator_Map_Demo1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    // 从日志数据中获取用户请求 URL 资源路径
    val fileRDD: RDD[String] = sc.textFile("input/apache.log")

    val urlRDD: RDD[String] = fileRDD.map(
      line => {
   
        var datas: Array[String] = line.split(" ")
        datas(6)
      }
    )
    urlRDD.collect().foreach(println)
    sc.stop()
  }
}

(4) 运行结果
在这里插入图片描述

1.2 mapPartitions 算子

1、算子签名

def mapPartitions[U: ClassTag](
    f: Iterator[T] => Iterator[U],
    preservesPartitioning: Boolean = false): RDD[U]

2、算子说明
将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤数据。

3、代码演示

package spark.core.conversion_operator.mapPartitions

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

/**
 * mapPartitions 算子介绍
 */
object Spark_RDD_Operator_MapPartitions_Study1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), numSlices = 2)

    // mapPartitions 是以分区作为单位进行计算，和 map 算子很像。
    // 区别就在于 map 算子是一个一个执行，而 mapPartitions 一个一个分区执行，类似于批处理。

    // map 方法是全量数据操作，不能丢失数据。
    // mapPartitions 方法是一次性获取分区的所有数据，那么可以执行迭代器集合的所有操作，
    // 比如：过滤、max、sum
    val rdd1: RDD[Int] = rdd.mapPartitions(
      iter => {
   
        iter.filter(_ % 2 == 0)
      }
    )

    val data: Array[Int] = rdd1.collect()
    println(data.mkString(","))
    println(data.toList)
    sc.stop()
  }
}

运算结果：
在这里插入图片描述

4、demo
(1) 说明
获取每个数据分区的最大值

(2) 代码

package spark.core.conversion_operator.mapPartitions

import org.apache.spark.{
   SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

/**
 * mapPartitions 算子获取各个分区的最大值
 */
object Spark_RDD_Operator_MapPartitions_Demo1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 4, 3, 2, 5, 6), numSlices = 2)

    // 获取分区的最大值，第一个分区为 1 4 3，第二个分区为 2 5 6。
    val rdd1: RDD[Int] = rdd.mapPartitions(
      iter => {
   
        List(iter.max).iterator
      }
    )

    // map 与 mapPartitions 区别：
    // map 算子每一次处理一条数据，而 mapPartitions 算子每一次将一个分区的数据当成一个整体
    // 进行数据处理，如果一个分区的数据没有完全处理完，那么所有的数据都不会释放，即使当前面已经
    // 处理完的数据也不会释放。所以当内存空间足够大时，为了提高效率，推荐使用 mapPartitions
    // 算子。
    val data: Array[Int] = rdd1.collect()
    println(data.mkString(","))
    sc.stop()
  }
}

(3) 运算结果
在这里插入图片描述

1.3 mapPartitionsWithIndex 算子

1、算子签名

def mapPartitionsWithIndex[U: ClassTag](
  f: (Int, Iterator[T]) => Iterator[U],
  preservesPartitioning: Boolean = false): RDD[U]

2、算子说明
将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤数据。在处理时同时可以获取当前分区索引。

3、代码演示

package spark.core.conversion_operator.mapPartitionsWithIndex

import org.apache.spark.{
   SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

/**
 * mapPartitionsWithIndex 算子介绍
 */
object Spark_RDD_Operator_MapPartitionsWithIndex_Study1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(5, 2, 3, 4), numSlices = 2)

    // 获取每个分区的最大值及分区号
    val rdd1: RDD[(Int, Int)] = rdd.mapPartitionsWithIndex(
      (index, iter) => {
   
        List((index, iter.max)).iterator
      }
    )

    println(rdd1.collect().mkString(","))
    sc.stop()
  }
}

运算结果：
在这里插入图片描述

4、demo
(1) 说明
获取第二个数据分区的数据

(2) 代码

package spark.core.conversion_operator.mapPartitionsWithIndex

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

/**
 * mapPartitionsWithIndex 算子介绍
 */
object Spark_RDD_Operator_MapPartitionsWithIndex_Demo1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(5, 2, 3, 4), numSlices = 2)

    // 获取第二个分区的数据
    // Nil是一个空的List，定义为List[Nothing]
    val rdd2: RDD[Int] = rdd.mapPartitionsWithIndex(
      (index, iter) => {
   
        if (index == 1) {
   
          iter
        } else {
   
          // 空集合
          Nil.iterator
        }
      }
    )

    println(rdd2.collect().mkString(","))
    sc.stop()
  }
}

(3) 运行结果
在这里插入图片描述

1.4 flatMap 算子

1、算子签名

def flatMap[U: ClassTag](f: T => TraversableOnce[U]): RDD[U]

2、算子说明
将处理的数据进行扁平化后再进行映射处理，所以算子也称之为扁平映射。

3、代码演示

package spark.core.conversion_operator.flatMap

import org.apache.spark.{
   SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

/**
 * flatmap 算子的介绍：
 * 将处理的数据进行扁平化后再进行映射处理，所以算子也称之为扁平映射。
 */
object Spark_RDD_Operator_FlatMap_Study1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[List[Int]] = sc.makeRDD(List(List(1, 2), List(3, 4)))

    // flatmap() 是将函数应用于 RDD 中的每个元素，将返回的迭代器的所有内容构成新的 RDD。
    val rdd1: RDD[Int] = rdd.flatMap(
      list => list
    )

    println(rdd1.collect().mkString(","))

    sc.stop()
  }
}

运行结果：
在这里插入图片描述

4、demo
(1) 说明
对 List(List(1, 2), 3, List(4, 5)) 进行 flatMap

(2) 代码

package spark.core.conversion_operator.flatMap

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

/**
 * flatmap 算子的介绍：
 * 将处理的数据进行扁平化后再进行映射处理，所以算子也称之为扁平映射。
 */
object Spark_RDD_Operator_FlatMap_Demo1 {
   
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().
      setMaster("local[*]").
      set("spark.driver.host", "localhost").
      setAppName("rdd")
    val sc = new SparkContext(sparkConf)

    // 将如下数据进行扁平化处理
    val rdd1: RDD[Any] = sc.makeRDD(
      List(List(
最低0.47元/天 解锁文章
火成哥哥
关注
专栏目录
Spark 算子之map使用
congge_study的博客
04-18 3884
Spark 算子之map使用
spark基本算子操作
03-21
本文主要介绍Spark中的基本转换算子及其应用场景。 #### 二、转换算子详解 1. **`map(func)`** - **功能**：`map(func)`算子会将RDD中的每一个元素传递给用户定义的函数`func`进行处理，并返回一个新的RDD。 - ...
Spark核心编程3-map，mapPartitions，flatMap，glom，分区，groupby
Icedeny的博客
06-25 560
一、算子介绍（RDD方法既称为算子） RDD方法分为转换和行动两个内容。 转换：功能的补充，也就是复杂业务逻辑，生产多个RDD的过程，旧的RDD包装成新的RDD,相互包装补充； 行动：触发任务调度和作业的执行。封装并不会触发任务的执行，如flatmap,map等，只有collect等才能触发。 二、转换算子（RDD方法） 根据数据类型不同可以把算法分为三大类型单value ,双value,key-value； 2.1 map map函数式将处理的数据逐条进行映射转换，可以是值或者类型的转换。.
Spark 核心编程（RDD+累加器+广播变量）
mengxianglong123的博客
11-14 1330
Spark 核心编程概述一、RDD1.1 什么是RDD1.2 核心属性1.3 执行原理1.4 基础编程1.4.1 RDD创建1.4.2 RDD并行度与分区1.4.3 RDD转换算子(重点)Value类型:1) map2) mapPartitions3) mapPartitionsWithIndex4) flatMap5) glom6) groupBy7) filter8) sample9) distinct10) coalesce11) repartition12) sortBy双Value类型：13) i
一天一个RDD函数-1：map
weixin_33872660的博客
09-24 398
2019独角兽企业重金招聘Python工程师标准>>> ...
spark的rdd的含义_关于Spark中RDD的设计的一些分析
weixin_42298415的博客
12-28 238
RDD, Resilient Distributed Dataset，弹性分布式数据集， 是Spark的核心概念。这篇文章用来记录一部分Spark对RDD实现的细节。首先翻译一下RDD这个虚类的注释RDD是一个分布式弹性数据集， RDD是Spark的基本抽象，代表了一个不可变的、分区的、可以用于并行计算的数据集。这个类包括了所有RDD共有的基本操作，比如map,filter, persist。另外...
Java Spark算子：sample
01-07
import org.apache.spark.... * sample(withReplacement,fraction,seed) 算子 * 对RDD中的数据进行随机采样，会有误差。 * 第一个参数：boolean类型，表示产生的样本是否可以重复：false不重复，也就是不放回的取；t
Spark常用的算子以及Scala函数总结.pdf
05-17
具体到 Spark 中的算子，下面列出了常见的 Transformation 和 Action 算子以及它们的功能： 1. map(func): 对 RDD 中的每个元素应用函数 func，并返回一个新的 RDD。 2. mapPartitions(func): 类似于 map，但函数 ...
Spark算子.pdf
05-05
Spark对于大数据行业的实时处理数据来说，有着举足轻重的位置，特此学习整理了RDD 算子的各个含义，希望各位读者能够喜欢。谢谢
spark中textFile、groupByKey、collect、flatMap、map结合小案例（案例虽小，功能齐全）
RiverCode的博客
03-04 3479
spark中textFile、groupByKey、collect、flatMap、map结合使用小案例，案例虽小，功能齐全
Spark-单value算子总结(图解和源码）
悦上心灵的博客
01-10 829
Spark-单value算子总结
学习记录585@spark算子之glom与aggregateByKey的使用案例之计算每个分区中的最大值的和
教练我想学编程
06-01 279
glom的作用是将同一个分区中的数据转化为相同类型的数组，分区不变。 以下案例是计算每个分区中的最大值的和。 以上摘自尚硅谷教程
Spark常用算子讲解二
qq_43688472的博客
01-02 356
groupByKey groupByKey([numTasks])是数据分组操作，在一个由(K, V)键值对组成的数据集上调用，返回一个(K, Seq[V])对的数据集。 注意，如果要对每个键执行聚合(比如求和或平均值)，使用reduceByKey或aggregateByKey将提供更好的性``能。 &gt;&gt;&gt; rdd = sc.parallelize([("a", 1), ("b"...
Spark sc.textFile(...).map(...).count() 执行完整流程
allwefantasy的专栏
01-22 1409
本文介绍下Spark 到底是如何运行sc.TextFile(...).map(....).count() 这种代码的，从driver端到executor端。 引子 今天正好有人在群里问到相关的问题，不过他的原始问题是： 我在RDD里面看到很多 new MapPartitionsRDD[U, T](this, (context, pid, iter)...
【spark使用】2.向Spark算子中传递函数方式
qq_22849251的博客
03-10 3028
介绍 filter的例子 例1：Python 版本筛选的例子 lines = sc.textFile("README.md") pythonLines = lines.filter(lambda line: "Python" in line) 例2：Scala 版本筛选的例子 val lines = sc.textFile("README.md") // 创建一个叫lines的RDD val pythonLines = lines.filter(line => line.contains("Pyth
spark学习笔记1
rona1的博客
04-04 475
pyspark命令练习：textFile = sc.textFile(“README.md”)创建一个RDDtextFile.count()返回元素个数textFile.first()返回第一个元素linesWithSpark = textFile.filter(lambda line: “Spark” in line)过滤元素textFile.filter(lambda line: “Spark...
Spark RDD、DataFrame原理及操作详解
小黑的博客
02-26 1349
RDD是什么？ RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。 五个特征： dependencies:建立RDD的依赖关系，主要rdd之间是宽窄依赖的关系，具有窄依赖关系的rdd可以...
map函数与iter结合使用的问题（《python学习手册》第四版p514例程解析）
netface的专栏
09-10 355
《python学习手册》第四版p514例程如下： def myzip(*args): iters = map(iter,args) while iters: res = [next(i) for i in iters] yield tuple(res) 书中提到，该例程在python3.x下面，会陷入无限循环并失效，但解释的不是很清楚。经...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值