scala基础篇四：（spark）容器操作（foreach、Map、flaMap、filter、reduce/Left/Right、fold）

最新推荐文章于 2024-01-25 01:55:44 发布
最新推荐文章于 2024-01-25 01:55:44 发布
阅读量2k 收藏 1
点赞数 1
分类专栏： 大数据技术 文章标签： scala spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50868643/article/details/123784624
版权
本文介绍了Scala中Spark容器的基本操作，包括Foreach的遍历应用，Map的一对一映射，flatMap的一对多映射及数据拍扁，Filter的条件筛选，以及Reduce、reduceLeft、reduceRight和Fold的规约运算，这些是Scala处理数据的核心方法。
摘要由CSDN通过智能技术生成

  1. 遍历操作Foreach(b)//将b中的方法作用在a的每个元素上。

 

2、映射：就是把一个数据提出操作，不改变原有的数据，而是生成新的数据。

Map（一对一映射）

 flatMap（一对多映射）：一个容器被映射成多个，然后拍扁成一个返回

 3、过滤：依据条件筛选符合条件的数据

Filter() 根据条件过滤

最低0.47元/天 解锁文章
@小白也疯狂
关注
专栏目录
spark容器集群搭建
yhb_csdn的博客
07-19 781
SPARK 的docker伪分布式部署 参考资料 https://www.jianshu.com/p/d6a406da3cba 首先安装docker 或者参考https://www.runoob.com/docker/ubuntu-docker-install.html 使用docker官方提供的脚本一键安装就好了(ubuntu的其他系统应该有类似的)（下面的步骤是centos的） 第一步卸载之前旧的版本，没装过不用做。 yum remove docker docker-client docker-clie
Scala学习笔记-方便查找使用 为Spark学习打基础
楠楠好难
02-05 4363
Scala学习伊始为什么是Scala网课环境电脑环境安装IDEA插件安装IDEA关联Scala源码基础部分文档注释和生成字符串的三种输出变量和常量数据类型数据类型体系图小结具体数据类型 伊始 为什么是Scala 毕业设计所逼，我课题是《基于spark的实时音乐推荐系统》，而Spark是用Scala开发的，使用Scala必然最合适。虽然Spark提供了Java、Python等的API，但貌似效果不如Scala。 网课 自己找了个网课，开干
Flex 4 的 Spark 组件
weixin_33720956的博客
06-14 124
Spark 容器 所有 Spark 容器均支持可分配布局功能。 Group – Flex 4 的不可植皮的容器类，它能够包含图像子组件，例如 UIComponents 、利用 Adobe Flash Professional 创建的 Flex 组件以及图形元素等。DataGroup – Flex 4 的不可换皮的容器类。它只能够包含非图像数据条目作为子组件。 DataGroup 容器支持条目渲染器...
Spark算子之map和foreach
边看边学
12-07 1547
map：遍历RDD,将函数f应用于每一个元素，返回新的RDD(transformation算子)。 foreach：遍历RDD,将函数f应用于每一个元素，无返回值(action算子)。 mapPartitions：遍历操作RDD中的每一个分区，返回新的RDD（transformation算子）。 foreachPartition：遍历操作RDD中的每一个分区。无返回值(action算子)。 m...
Flex 学习之十四 Spark容器
Leove的专栏
10-13 308
Spark容器
Spark: foreach,map,foreachPartition
weixin_44363315的博客
01-07 1040
foreach算子对RDD中数据遍历，通过累加器进行计算，没有返回值,是在Driver端执行.(action算子)。 map算子对RDD中数据遍历，通过累加器进行计算，有返回值,在executor端执行.(transformation算子)。 mapPartitions:用于遍历操作RDD中的每一个分区，返回生成一个新的RDD（transformation算子）。 foreachPartition: 用于遍历操作RDD中的每一个分区。无返回值(action算子)。 ...
Scala编程入门：基础与函数式编程解析
- **函数式编程**：集合操作通常为纯函数，如`foreach`、`distinct`、`map`、`filter`、`sorted`、`groupBy`、`reduce`、`fold`、`collect`等。 **泛型** - 泛型用于定义可以应用于多种类型的类、接口和方法，提供...
Scala基础(10) 函数式编程
01-20
在本篇 Scala 基础教程的第 10 部分，我们将探讨函数式编程的概念及其在 Scala 中的应用。函数式编程是一种编程范式，它强调将计算视为数学函数的评估，避免可变状态和副作用。在 Scala 中，由于其与 Java 类似的...
Scala总结终结篇
数据开发探索者
09-18 495
Scala总结终结篇 接Scala总结下篇 八、集合 8.13 自定义排序 SortWith --自定义排序： 1.方法：sortWith(形参)，返回值为经过自定义排序以后的集合； 2.形参：是一个函数， 函数形参为：集合中的两个元素， 参数1：第一个元素left； 参数2：第二个元素right； 函数返回值为：boolean类型，true和false 3.排序规则：
Spark与Kubernetes容器化部署
最新发布
AI天才研究院
01-25 1117
1.背景介绍 1. 背景介绍 Apache Spark是一个开源的大数据处理框架，可以用于实时数据流处理、批处理和机器学习等应用。Kubernetes是一个开源的容器管理系统，可以用于自动化部署、扩展和管理容器化应用。在大数据处理和机器学习领域，Spark和Kubernetes的结合可以带来更高的性能、可扩展性和可靠性。 在本文中，我们将讨论Spark与Kubernetes容器化部署的核心概...
filter过滤 多个判断条件
Jean_yuanyuan的博客
03-01 2130
使用filter 过滤数组时，当传参不确定，有两个参数时，判断条件需要加括号。
【Spark】Spark中dataframe不能filter多个条件的问题
voidfaceless的博客
03-04 6817
今天在统计东西时，需要对sparksql.dataframe进行过滤，用到了filter函数，但是当需要过滤多个条件时，查阅网上说可以这样写： df.filter($"s"===1 || $"ss"=!=2) 但是我在尝试的时候总是报错： Cannot resolve overload method ‘filter’ 我调了两个小时一直都不行，去查源码，spark源码也给出了这样的例子。后来才发...
spark中的foreach算子
qq_43928549的博客
07-17 4582
RDD的方法称为算子 val rdd:RDD[Int] = sc.makeRDD(List(1,2,3,4)) //foreach方法 rdd.collect().foreach(println) println("====================") //foreach算子 rdd.foreach(println) sc.stop() 结果 1 2 3 4 ==================== 3 4 1 2 同样使用foreach打印List中的1，2，3，4，算子与方法的结果却
Spark基础知识20_Scala遍历操作，map和flatMap操作、fliter、reduce、fold
Matrix70的博客
06-08 1305
对lambda表达式含义的解释--->遍历到的元素赋值给s,然后让s去执行后续方法，这样就可以一个一个转换掉,此例中，会把值给s,然后执行.toUpperCase方法，然后再遍历，再执行下去.朗母达表达式，匿名函数case模式匹配，kv._1表示匹配的键，kv._2表示的匹配的值，这是元组的表达方式，这些遍历方法都可以去尝试。10 作为初始的s ,10 * 1，10 * 2， 20 * 3 ，60 * 4，240 *5。这些元素就构成了很大的集合，得到非常多的元素构成的整体的集合，就是我们所要的结果。
Spark复杂情况下的stage划分 reduceByKey leftOuterJoin union
张伯毅的专栏
12-28 5580
为了研究复杂情况下的stage划分，故意写了一段复杂一点的代码进行测试。   代码： import org.apache.spark.{SparkConf, SparkContext} object WordDemo { //spark-submit --name 'WordDemo' --class WordDemo --master yarn --num-executors ...
Spark & Scala scala编程之对容器的操作
Beyond_Nothing
09-27 614
文章目录针对容器的操作1 遍历操作2 映射操作map方法（一对一映射）flatMap方法（一对多映射）3 过滤操作filter方法：接受一个返回布尔值的函数f作为参数，并将f作用到每个元素上，将f返回真值的元素组成一个新容器返回4 规约操作(reduce : 归纳)reduce方法：接受一个二元函数f作为参数，首先将f作用在某两个元素上并返回一个值，然后再将f作用在上一个返回值和容器的下一个元素上，再返回一个值，依此类推，最后容器中的所有值会被规约为一个值reduceLeft和reduceRight：前者从
spark的join和leftJoin使用union和reduce实现
Bryan__的专栏
12-01 3062
在spark中使用自带的join与leftJoin容易引发性能问题，所以可以改写为union后reduce来提升性能。 import scala.reflect.ClassTag def leftJoin[K:ClassTag,V:ClassTag](left:RDD[(K, V)],right:RDD[(K, V)])={ left.mapValues(x=>Ar...
【菜鸟系列】spark常用算子总结（scala、java）--map，flatMap，flatMapToPair
Java_Soldier的博客
06-05 6215
map，flatMap，flatMapToPair是最常用的算子，map算子的输入和输出是一对一的，也就是子RDD的分区与父RDD的分区时一对一的关系；flatMap是压平，输入和输出是一对多的关系；需要注意的是：scala版本的map可以将RDD转成PairRDD，但是在java版本中，这个功能是通过mapToPair函数实现的，需要实现PairFunction函数；scala版本没有flatM...
spark中行动算子和scala中的foreach() 重名函数区别
andy的博客
11-29 210
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@小白也疯狂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值