![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 81
憨憨yang
一棵树长到
它想长到的高度后,
它才知道
怎样的空气适合它。
展开
-
spark结课tip3
的常用方法,具体如下如示。原创 2024-05-16 19:16:31 · 376 阅读 · 0 评论 -
spark结课之小小tip
2.foreach()方法:用于对集合中的每个元素应用指定的操作。5.groupBy()方法:用于根据指定的函数将集合中的元素分组,并返回一个 Map,其中键是根据指定函数的结果分组的值,值是具有相同结果的元素的列表。3.filter()方法:用于过滤集合中满足特定条件的元素,并将这些元素收集到一个新的集合中。4.flatten()方法:用于将嵌套的集合(如列表的列表)展平为单层的集合。1.map()方法:用于对集合中的每个元素应用一个函数,并将结果收集到一个新的集合中。原创 2024-05-10 21:56:48 · 227 阅读 · 4 评论 -
spark结课之tip2
spark常用方法总结:一、从内部创建RDD(1).通过并行化集合(Parallelized Collections):可以使用SparkContext的parallelize方法将一个已有的集合转换为RDD。基本语法:parallelize(collection, numSlices=None)基础代码示例:import org.apache.spark.{SparkConf, SparkContext}val conf = new SparkConf().setA原创 2024-05-14 16:37:31 · 2002 阅读 · 2 评论