Spark算子总结

最新推荐文章于 2023-03-01 11:17:19 发布
最新推荐文章于 2023-03-01 11:17:19 发布
阅读量229 收藏 1
点赞数
分类专栏： 大数据 文章标签： spark 大数据 scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40565265/article/details/112001969
版权

Spark算子总结

文章目录

Transformations转化算子

转换算子不触发提交作业，完成作业中间过程处理，懒加载算子，需要有**action算子**操作的时候才会真正触发运算

Value类型

Map
  1. 返回一个新的RDD，该RDD由每一个输入元素经过func函数转化后组成
object Spark`RDD` {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建`RDD`
    val list`RDD`: `RDD`[Int] = sc.make`RDD`(List(1, 2, 3, 4, 5))
    //4、每个数变成原来的2倍
    val rs`RDD`: `RDD`[Int] = list`RDD`.map(_ * 2)
    //5、打印
    rs`RDD`.foreach(println(_))
  }
}
mapPartitions
  1. 类似于map，单独独立的在RDD的每一分片上运行，假设有N个元素，有M个分区，那么map的函数将被调用N此，而mapPartitions被调用M次，一次函数处理所有的分区
object Spark`RDD` {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建`RDD`
    val list`RDD`: `RDD`[Int] = sc.make`RDD`(List(1, 2, 3, 4, 5))
    //4、每个数变成原来的2倍
    val rs`RDD`: `RDD`[Int] = list`RDD`.mapPartitions(i=>{i.map(_*2)})
    //5、打印
    rs`RDD`.foreach(println)
  }
}
mapPartitionWithIndex(func)
  1. 类似于mapPartitions，但是func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int,Integer[T])=>Iterator[U];
object Spark`RDD` {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建2个分区的`RDD`
    val list`RDD`: `RDD`[Int] = sc.make`RDD`(List(1, 2, 3, 4, 5), 2)
    //4、每个数变成原来的2倍
    val rs`RDD`: `RDD`[(Int, Int)] = list`RDD`.mapPartitionsWithIndex((index, item) => {
      item.map((index, _))
    })
    //5、打印
    rs`RDD`.foreach(println)
  }
}
flatMap(func)
  1. 对集合中每个元素进行操作后再扁平化
object Spark`RDD` {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建2个分区的`RDD`
     val list`RDD`: `RDD`[String] = sc.make`RDD`(List("Hello World","Hello Spark"))
    //4、扁平化
    val rs`RDD`: `RDD`[String] = list`RDD`.flatMap(_.split(" "))
    //5、打印
    rs`RDD`.foreach(println)
  }
}
glom
  1. 将没一个分区形成一个数组，形成新的RDD类型时RDD[Array[T]]
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建3个分区的RDD
    val listRdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8), 3)
    //4、glom
    val rsRdd: RDD[Array[Int]] = listRdd.glom()
    //5、打印
    rsRdd.foreach(item => {
      println(item.mkString(","))
    })
  }
}
groupBy
  1. 按照传入函数的返回值进行分组，将相同的key对应的值放入一个迭代器
def main(args: Array[String]): Unit = {
  //1、创建本地spark配置文件
  val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
  //2、创建Spark上下文对象
  val sc = new SparkContext(config)
  //3、创建RDD
  val listRdd: RDD[Int] = sc.makeRDD(1 to 20)
  //4、分组
  val rsRdd: RDD[(Int, Iterable[Int])] = listRdd.groupBy(_%2)
  //5、打印
  rsRdd.foreach(t=>println(t._1,t._2))
}
filter
  1. 返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
    val listRdd: RDD[Int] = sc.makeRDD(1 to 10)
    //4、过滤
    val rsRdd: RDD[Int] = listRdd.filter(_%2==0)
    //5、打印
    rsRdd.foreach(println)
  }
}
distinct
  1. 对RDD中的每个元素组进行去重
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
    val listRdd: RDD[Int] = sc.makeRDD(List(1,2,1,2,1,2))
    //4、用2个分区保存结果
    val rsRdd: RDD[Int] = listRdd.distinct(2)
    //5、打印
    rsRdd.foreach(println)
  }
}
repartition(numPartitions)
  1. 重分区，更具分区数，重新通过网络随机洗牌所有数据
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建4个分区的Rdd
    val listRdd: RDD[Int] = sc.makeRDD(1 to 10, 4)
    println("repartition before:" + listRdd.partitions.size)
    //4、重新分区
    val rsRdd: RDD[Int] = listRdd.repartition(2)
    //5、打印
    println("repartition after:" + rsRdd.partitions.size)
  }
}
sortBy(func)
  1. 使用func先对数据进行处理，按照处理后的数据比较结果排序
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建4个分区的Rdd
    val listRdd: RDD[Int] = sc.makeRDD(1 to 10)
    //4、升序
    val sortAsc: Array[Int] = listRdd.sortBy(x => x).collect()
    println(sortAsc.mkString(","))
    //5、降序
    val sortDesc: Array[Int] = listRdd.sortBy(x => x, false).collect()
    println(sortDesc.mkString(","))
  }
}

双Value类型交互

union
  1. 对源RDD和参数RDD求并集后返回一个新的RDD
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建2个list
    val list1: RDD[Int] = sc.makeRDD(1 to 2)
    val list2: RDD[Int] = sc.makeRDD(2 to 4)
    //4、求并级
    val rsRdd: Array[Int] = list1.union(list2).collect()
    //5、打印
    rsRdd.foreach(println)
  }
}
subtract
  1. 差集，去除两个RDD中相同的元素，不用的RDD将保留下来
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建2个list
    val list1: RDD[Int] = sc.makeRDD(1 to 10)
    val list2: RDD[Int] = sc.makeRDD(5 to 10)
    //4、求并级
    val rsRdd: Array[Int] = list1.subtract(list2).collect()
    //5、打印
    rsRdd.foreach(println)
  }
}
intersection
  1. 交集，对源RDD和参数RDD求交集后返回一个新的RDD
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建2个list
    val list1: RDD[Int] = sc.makeRDD(1 to 10)
    val list2: RDD[Int] = sc.makeRDD(5 to 10)
    //4、交集
    val rsRdd: Array[Int] = list1.intersection(list2).collect()
    //5、打印
    rsRdd.foreach(println)
  }
}

Key-Value类型

groupByKey
  1. groupByKey也是对每个key进行操作，但是只生成一个事件，将所有的数据在一个RDD中进行操作
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建list
    val list: RDD[String] = sc.makeRDD(List("Hello World","Hello Scala","Spark Spark Spark"))
    //4、wordcount
     val mapRdd: RDD[(String, Int)] = list.flatMap(_.split(" ")).map((_,1))
    //5、groupByKey
    val groupByKeyRdd: RDD[(String, Iterable[Int])] = mapRdd.groupByKey()
    groupByKeyRdd.foreach(println)
    //6、聚合
    val wcRdd: RDD[(String, Int)] = groupByKeyRdd.map(t=>(t._1,t._2.size))
    wcRdd.foreach(println)
  }
}
reduceByKey
  1. 在一个(K,V)的RDD上调用，返回一个(K,V)的RDD,使用指定的reduce函数，将相同的key的值聚合到一起，reduce任务的个数可以通过第二个可选的参数来设置
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建list
    val list: RDD[String] = sc.makeRDD(List("Hello World","Hello Scala","Spark Spark Spark"))
    //4、扁平化
     val mapRdd: RDD[(String, Int)] = list.flatMap(_.split(" ")).map((_,1))
    //5、wordcount
    val reduceMapRdd: RDD[(String, Int)] = mapRdd.reduceByKey(_+_)
    //6、打印
    reduceMapRdd.foreach(println)
  }
}
sortByKey
  1. 在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key的正序和倒序进行排序
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建list
    val listRdd: RDD[(Int, Int)] = sc.makeRDD(List((1, 3), (1, 2), (1, 4), (2, 3), (3, 6), (3, 8)))
    //4、升序
    val sortAsc: Array[(Int, Int)] = listRdd.sortByKey(true).collect()
    println("升序:" + sortAsc.mkString(","))
    //5、降序
    val sortDesc: Array[(Int, Int)] = listRdd.sortByKey(false).collect()
    println("降序:" + sortDesc.mkString(","))
  }
}
join
  1. 在类型为(K,V)和(K,W)的RDD上调用，返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    val r1: RDD[(Int, String)] = sc.makeRDD(Array((1, "a"), (2, "b"), (3, "c")))
    val r2: RDD[(Int, String)] = sc.makeRDD(Array((1, "a"), (2, "b"), (3, "c")))
    val rsRdd: Array[(Int, (String, String))] = r1.join(r2).collect()
    rsRdd.foreach(println)
  }
}

Action行动算子

这类算子会触发**SparkContext提交Job**作业

reduce
  1. 通过func函数聚合RDD中的所有元素，先聚合分区内数据，再聚合分区间数据
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
    val rdd: RDD[Int] = sc.makeRDD(1 to 5)
    //4、reduce
    val rs: Int = rdd.reduce(_+_)
    //5、结果
    println(rs)
  }
}
collect
  1. 在驱动程序中，以数组的形式返回数据集的所有元素
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
    val lisrRdd: RDD[Int] = sc.makeRDD(List(1,2,3,4,5))
    val ints: Array[Int] = lisrRdd.collect()
    println(ints.mkString(","))
  }
}
count
  1. 返回RDD中的元素的个数
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
     val rdd: RDD[Int] = sc.makeRDD(1 to 10)
    val rddCount: Long = rdd.count()
    println(rddCount)
  }
}
first
  1. 返回RDD中的第一个元素
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
    val rdd: RDD[Int] = sc.makeRDD(1 to 10)
    //4、返回RDD中第一个元素
    val firstNum: Int = rdd.first()
    println(firstNum)
  }
}
take
  1. 返回一个由RDD的前N个元素组成的数组
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
    val rdd: RDD[Int] = sc.makeRDD(1 to 10)
    val top3: Array[Int] = rdd.take(3)
    top3.foreach(println)
  }
}
takeOrdered
  1. 返回该RDD排序后的前N个元素组成的数组
def main(args: Array[String]): Unit = {
  //1、创建本地spark配置文件
  val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
  //2、创建Spark上下文对象
  val sc = new SparkContext(config)
  //3、创建RDD
  val rdd: RDD[Int] = sc.makeRDD(List(5, 3, 2, 1, 7, 6))
  val top3: Array[Int] = rdd.takeOrdered(3)
  println(top3.mkString(","))
}
countByKey
  1. 针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数
object SparkRdd {
  def main(args: Array[String]): Unit = {
    //1、创建本地spark配置文件
    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //2、创建Spark上下文对象
    val sc = new SparkContext(config)
    //3、创建RDD
    val rdd: RDD[(Int, Int)] = sc.makeRDD(List((1,3),(1,2),(1,4),(2,3),(3,6),(3,8)))
    //4、统计key
    val countKey: collection.Map[Int, Long] = rdd.countByKey()
    //5、打印
    println(countKey)
  }
}
治愈爱吃肉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark算子总结
weixin_46602525的博客
06-19 399
spark算子总结 spark的算子分为行动算子和转换算子 rdd是 调用转换算子是逻辑上的传递，并没有真正运算，实际数据并没有变化，调用行动算子后，才会发给执行器，才会实际在在执行器中执行运算。 ...
js操作cookie（增删改查）
04-09
NULL 博文链接：https://zhaoshijie.iteye.com/blog/1626408
javascript 设置cookie
weixin_34240520的博客
06-13 225
设置cookie 每个cookie都是一个名/值对，可以把下面这样一个字符串赋值给document.cookie： document.cookie="userId=828"; 如果要一次存储多个名/值对，可以使用分号加空格（; ）隔开，例如： document.cookie="userId=828; userName=hulk"; 在cookie的名或值中不能使用分号（;）、逗号（,）、等号（=）...
Javascript cookie的创建
ArtLife_的博客
11-04 1203
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title></title> </head> <body> <input type="text" name="t1" id="t1" value="" /> 创建一个按钮 <butto...
JS创建和存储 cookie一些方法总结
jisheng0703的博客
07-11 482
http://www.zgguan.com/zsfx/jsjc/5320.html   在js中cookie的操作与存储及清除cookie都与时间有关，我们只要把cookie过期时间进行有效的设置我们就可以控制它的存储了，下面我来给大家总结一下js中cookie的一些使用技巧 创建和存储 cookie 在这个例子中我们要创建一个存储访问者名字的 cookie。当访问者首次访问网站时，他们...
javascript创建cookie
weixin_45119097的博客
11-19 1072
javascript创建cookie
25个经典Spark算子的JAVA实现
08-16
根据给定文件的信息，本文将详细介绍25个经典Spark算子的Java实现，并结合详细的注释及JUnit测试结果，帮助读者更好地理解Spark算子的工作原理及其应用方式。 ### Spark算子简介 在Apache Spark框架中，算子是用于...
js生成Cookie和取Cookie方法
chengmingwei的专栏
12-25 550
&lt;script&gt;    var expdate=new Date();    expdate.setTime(expdate.getTime()+(24*60*60*1000*30));    //expdate=null;    //以下设置COOKIES时间为1年,自己随便设置该时间..    SetCookie("&lt;%=user.getCode()%&gt;","&lt;%...
原生js创建cookie对象
hc1428090104的博客
10-13 347
var date=new Date(); date.setTime(date.getTime()+3*60*60*1000); document.cookie="abc=cba; Expires="+date.toGMTString(); //红字部分改变一下就可以 alert(document.cook...
JS添加Cookie的例子
06-23
使用JS创建Cookie,已经经过本人的测试. 属于发行版,QQ等各大知名网站都是用本方式写入cookie 新手也一看就会,是JS增强的好案例~！
JS设置cookie和获取cookie 方法
09-11
js写的方法，可以设置cookie和获取cookie值，简单易懂
create Cookie
weixin_30826095的博客
02-17 149
//Creting a Cookie Object HttpCookie _userInfoCookies = new HttpCookie("UserInfo"); //Setting values inside it _userInfoCookies["UserName"] = "Abhijit"; _userInfo...
js cookie之创建，读取，销毁
Xiao_peng117的博客
11-18 784
cookie大法好！！！ 创建cookie： //变量写法 document.cookie="task_old="+rtnData.task_old; document.cookie="名字="+值; 读取cookie：直接调用函数，例如var flag = get_cookie("task_old"); //读取cookie函数 function get_cookie(Name) {...
JavaScript Cookie
最新发布
梁辰兴的博客
03-01 606
Cookie 是一些数据, 存储于你电脑上的文本文件中。当 web 服务器向浏览器发送 web 页面时，在连接关闭后，服务端不会记录用户的信息。当用户访问 web 页面时，他的名字可以记录在 cookie 中。在用户下一次访问该页面时，可以在 cookie 中读取用户访问记录。当浏览器从服务器上请求 web 页面时， 属于该页面的 cookie 会被添加到该请求中。服务端通过这种方式来获取用户的信息。
JS 设置 Cookie
草原孤狼的专栏
09-22 1172
好记忆不如按烂笔头，再简单的东西，都是知识，需要有所笔记... 最近一直在搞JS ，今天写了个js cookie 的实现，贴出来，学习学习、、、 /* * 设置 cookie 的值. */ function addCookie(objName, objValue,objTime,tag){//添加cookie     var str = objName + "=" + escape(
JavaScript Cookie(创建、读取、修改、删除)
杨星的博客
06-07 4518
参考菜鸟驿站JavaScript Cookie Cookie 用于存储 web 页面的用户信息。 1.设置 cookie 值的函数 /** cname:键 cvalue：值 exdays：过期时间（单位为天，可以设置负数，代表过期时间， 如 1，代表明天 -1，代表昨天 ） **/ function setCookie(cname,cvalue,exdays) { var d = new Date(); d.setTime(d.getTime()+(exdays*24*60*60*
一.爬虫--破解网站通过js加密生成cookie（一）
weixin_35762183的博客
03-15 8259
做爬虫这么久了,遇见过千奇百怪的网站．本次记录一次简单破解js加密的网站． 目标网站：中国土地市场网 采集信息：如图 需要采集的内容就是行政区代码，标题，标题的url，和发布时间． 好了，感觉应该不难． 那我们先尝试一下吧： # -*- coding: utf-8 -*- import requests url = &amp;amp;amp;quot;http://www.landchina.com/default.aspx?t...
js操作cookie的方法
SweetoDream
09-18 1115
cookiecookie，有时候也用其复数形式Cookies，指某些网站为了辨别用户身份，进行session跟踪而储存在用户本地终端上的数据（经常通过加密）。定义于RFC2109和2965都已废弃，最新取代的规范是RFC6265。cookie的作用服务器可以利用Cookie包含信息的任意性来筛选经常性维护这些信息，以判断在HTTP传输中的状态。Cookie最典型的英语是判断注册用户是否已经登录网站，
Spark算子调优实战：mapPartitions与foreachPartition提升性能
在Spark的调优实践中，本文主要关注两个关键的算子优化策略：mapPartitions和foreachPartition。首先，我们来深入理解mapPartitions算子。 mapPartitions算子在Spark中扮演着重要的角色，它与普通的map算子相比，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值