- 博客(2)
- 收藏
- 关注
原创 手机专用
Action触发代码的运行,我们一段spark代码里面至少需要有一个action操作。常用的Action:动作 含义 示例 reduce(func) 通过func函数聚集RDD中的所有元素,可以实现,RDD中元素的累加,计数和其他类型的聚集操作 var rdd = sc.parallelize(1 to 10) rdd.reduce((x, y) => x+y) reduceByKey(func) 按key进行reduce,让key合并 wo
2020-11-11 20:15:00 57
原创 最新路口
一、基本介绍是什么?快速,通用,可扩展的分布式计算引擎。弹性分布式数据集RDDRDD(Resilient Distributed Dataset)弹性分布式数据集,是Spark中最基本的数据(逻辑)抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度。基本概念基本流程二、Hadoop和Spark.
2020-11-11 20:13:45 149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人