- 博客(2)
- 收藏
- 关注
RSS订阅原创 手机专用
Action 触发代码的运行，我们一段spark代码里面至少需要有一个action操作。 常用的Action: 动作 含义 示例 reduce(func) 通过func函数聚集RDD中的所有元素,可以实现，RDD中元素的累加，计数和其他类型的聚集操作 var rdd = sc.parallelize(1 to 10) rdd.reduce((x, y) => x+y) reduceByKey(func) 按key进行reduce，让key合并 wo
2020-11-11 20:15:00
48
原创 最新路口
一、基本介绍 是什么？ 快速，通用，可扩展的分布式计算引擎。 弹性分布式数据集RDD RDD（Resilient Distributed Dataset）弹性分布式数据集，是Spark中最基本的数据（逻辑）抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 基本概念 基本流程 二、Hadoop和Spark.
2020-11-11 20:13:45
131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人