![](https://img-blog.csdnimg.cn/202009070945148.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
spark
Geoffrey Turing
Engaged in Java RD,BigDataRD,SRE... Contribute to Apache Hadoop/Kafka/Pulsar/Doris community
展开
-
Spark为什么比MR快
1、Spark基于内存计算Spark vs MapReduce ≠ 内存 vs 磁盘其实Spark和MapReduce的计算都发生在内存中,区别在于:MapReduce通常需要将计算的中间结果写入磁盘,然后还要读取磁盘,从而导致了频繁的磁盘IO。Spark则不需要将计算的中间结果写入磁盘,这得益于Spark的RDD(弹性分布式数据集,很强大)和DAG(有向无环图),其中DAG记录了job的stage以及在job执行过程中父RDD和子RDD之间的依赖关系。中间结果能够以RDD的形式存放在内存中,且能够原创 2021-03-23 14:33:52 · 371 阅读 · 0 评论 -
【Spark-Core】运行机制、RDD算子实战
一、Spark运行机制及原理分析1、WordCount执行的流程分析2、Spark提交任务的流程二、Spark的算子1、RDD基础Ø *什么是***RDD?**RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升原创 2020-09-04 16:46:17 · 281 阅读 · 0 评论 -
【Spark-Core】架构、部署、WC-Demo
Spark Core一、什么是Spark?(官网:http://spark.apache.org)1、什么是Spark?*我的翻译:Spark是一个针对大规模数据处理的快速通用引擎。*Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含****SparkSQL、Spark Streami原创 2020-09-04 16:18:33 · 270 阅读 · 0 评论