scala算子

最新推荐文章于 2024-04-21 20:30:06 发布
最新推荐文章于 2024-04-21 20:30:06 发布
阅读量403 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45577149/article/details/103280988
版权
本文介绍了Scala中常用的算子，包括Map和flatMap的区别，强调flatMap作用于单条数据。接着讲解了reduce与reduceByKey的聚合操作，reduceByKey直接调用聚合方法。然后讨论了sortBy和sortByKey的排序功能，以及collect操作的使用场景和潜在问题，建议在分布式环境中避免频繁使用collect。最后提到了SparkStreaming作为Spark对实时数据流处理的拓展，提供了Dstream抽象方法。
摘要由CSDN通过智能技术生成

1、Map和flatMap
Map是将每一个数据拿出来执行一遍其传入的function，
flatMap是将一条数据数据打散执行方法
（注意，每一个数据和每一条数据是有区别的，hello you 是一条数据，其中的hello和you是每一个数据）
例：

val pairs: DStream[(String, Int)] = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

注意：flatMap作用的是一条一条的数据，才去执行，不作用于键值对

2、reduce和reduceByKey
reduce需要自定义聚合方法，
reduceByKey可以直接调用聚合方法

reduce的聚合实现代码后期更新

3、sortBy和sortByKey
sortBy是按照某一个参数的值去排序，
sortByKey是按照key去排序，

代码后期更

4、collect：是action操作里的一个算子（算子就是映射，就是关系，就是变换），这个方法可以将RDD类型的数据转化为数组。同时会从远程集群拉取数据到driver端（驱动端）

弊端：RDD的惰性机制，真正的计算发生在Action操作，那么一次collect就会导致一次shuffle，而一次shuffle调度一次stage，然而一次stage包含很多个已分解的Task，这样会导致程序运行时间大大增加，属于比较耗时的操作，即使在local模式下也同样耗时
从环境上来讲，

最低0.47元/天 解锁文章
. 钢筋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scala算子大全
abcdef_12a的博客
02-14 965
Array数组算子大全 次数数组 var array:Array[Int]=Array(1,2,3,4,5,6) 一、提取元素 1. array.foreach(f:(a:T)=>Uint) //遍历 ==参数传递的是函数 array.foreach(println) => 1 2 3 4 5 6 2.val rst:Int=array(index) //按照索引进行获取 println(array(1)) =...
[ 知识点 ] Scala算子
且陶陶。
01-24 547
Scala函数按字母顺序分类按使用方法分类 前言：下文中a1、a2、a3，均由下方代码定义。 var a1 = Array.range(1,10) Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9) var a2 = Array("a","b","c","d") Array[String] = Array(a, b, c, d) var a3 = Array(3,5,4,1,2) Array[Int] = Array(3, 5, 4, 1, 2)
Scala 计算算子
xiao_qiqiqi的博客
02-18 698
Scala 计算算子 集合变换-算子 Scala集合提供了丰富的计算算子，用于实现集合/数组的计算，这些计算子一般针对于List、Array、Set、Map、Range、Vector、Iterator等都可以适用。 排序 sorted def sorted[B >: String](implicit ord: scala.math.Ordering[B]): List[String] ...
scala常用算子
m0_56280960的博客
08-10 290
scala常用算子 提取元素 val v:T = arr.head #Array(1, 2, 3).head =>1 提取数组第一个元素 val v:Option[T] = arr.headOption #Array(1, 2, 3).headOption => Some(1) val v:T = arr.last # Array(1, 2, 3).last =>3 提取数组最后一个元素 val v:T = arr(index:Int) #println(arr1(2)) =>3 v
Scala 高级算子
weixin_34077371的博客
11-12 141
==> mapPartitionsWithIndex --->定义：def mapPartitionsWithIndex[U](f:(Int, Iterator[T]) => Iterator[U], preserversPartitioning: Boolean = false) --->作用：对R...
Scala的集合算子
01-07
集合算子 Scala集合提供了丰富的计算算⼦，⽤于实现集合/数组的计算，这些计算⼦⼀般针对于List、Array、Set、Map、Range、Vector、Iterator等都可以适⽤。 排序 ① sorted scala> var a = Array(1,3,4,2,5) a: ...
Spark常用的算子以及Scala函数总结.pdf
05-17
Spark RDD 算子说明，分别讲述了Transformation和Action这两类的算子。
StringVerify.scala
10-13
用于scala编写的字符串验证算子
头歌Scala中集合的使用
04-13
Scala中集合的使用 大学生 1. List 列表的使用 2. Set 集合的使用 3.Map 映射的使用 4. 元组的使用
Scala 常用算子
weixin_47243236的博客
12-07 1394
算子 ⭐️ var list = List(1, 2, 3, 4, 5) // 1. head headOption var head = list.head println(head) // 输出：1 var headOption = list.headOption println(headOption) // 输出：Some(1) // 2. last lastOption var last = list.last println(last) // 输出：5 var lastOption
Scala算子合集
RyougiShiki123的博客
07-20 299
Array Array的一些函数 1.创建一个一维数组一个二维数组用于测试 package scala object SelfTest { def main(args: Array[String]): Unit = { val array1 = Array(1,2,3,4,5,6,7,8,9,10) val array2 = Array(Array(123,456),Array(789,987),Array(654,321)) } } 2.函数 1°array1(index) &
scala集合算子大全
qq_29310159的博客
12-24 1430
一.集合元素操作 +： 定义：def +:(elem: A): Array[A] 描述：在数组前面添加一个元素，并返回新的数组对象 scala> var a1=Array.range(1,10) a1: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9) scala> a1:+10 res0: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) :+ 定义：def :+(elem: A): Ar
Scala 第二篇 算子篇
最新发布
weixin_74292291的博客
04-21 1143
Scala 数组方法、算子
Scala数组函数总结
Lymtics_Kevin的博客
09-14 1363
Scala 数组函数 数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示Java中的数组形式 T[]。 ##变量：赋值后可以改变，生命周期中可以被多次赋值 ##常量：赋值后不变，类似Java中的final变量 ##Scala会根据你输入的值推断输入的类型 scala> var k =300 k: Int = 300 scala> var k ="300" k: String = 300 scala> k ="ggg" k: String = ggg sc
Scala基础6-常用算子大全
W1ngman_的博客
07-15 723
常用集合函数++++:/:和:\addString练习apply获取值canEqualcharAtclonecollectcollectFirstcombinationscontainscontainsSlicecopyToArraycopyToBuffercorrespondscountdiffdistinctdropstartWith/endWithexistsfilter/filterNotfindflatMapflattenfoldgroupBy ++ var a1 = Array(1,2,3,4,
Spark-Scala算子
墨玉浮白的博客
07-18 681
一、Transformations算子 1.map-一对一 特点就是一对一，进来一个，出去一个 lines.map(one=>{ one+"#" }).foreach(println) 2.flatMap-一对多 进来一个，出去一堆。比如读取一行数据：hello world ，出去的就是hello和world两个单词。匿名函数定义了其中的逻辑：将读取到的数据按照空格切分...
Scala 算子详解-章节7
麦田里的守望者-蒋中洲【相信相信的力量】
02-14 480
Java集合和Scala集合相互转换 import scala.collection.JavaConverters._ object TestJavaScalaCollection { def main(args: Array[String]): Unit = { val arrayList = new util.ArrayList[String]() arrayList....
scala集合算子大全及分类汇总——倾心整理
weixin_45399602的博客
07-14 2359
++ 合并集合，返回新的数组 val arr1=Array(1,2,3) val arr2=Array(4,5,6) val arr3=arr1++arr2 arr3.foreach(println) //结果 1 2 3 4 5 6 ++： 合并集合，右边的集合决定返回的类型 这个方法，不能在Ideal中运行，只能在虚拟机的scala中执行 +: 在集合的头部添加元素，一次只能加一个元素，可以叠加使用 val arr1=Array(1,2,3) val arr3 = 1 +: arr1 arr3.for
Spark-RDD-Scala 算子操作数据源分析
"data01.txt 是一个用于 Spark RDD Scala 算子操作的示例数据文件，包含多行数据，每行数据由四部分组成：姓名、技能领域、在该领域的评分（可能是技能掌握程度）和未知字段。数据涉及多个计算机科学和技术主题，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值