数据咩
一只计算机专业,从业python,但是在干大数据的羊
展开
-
谁能讲清楚Spark之checkpoint与数据缓存的区别
数据缓存是为了读写速度快,因此主要使用内存,偶尔使用磁盘作为存储空间。的用法、存储与读取过程确实很相似,但也有不少区别,下面总结说明一下。数据缓存适用于会被多次读取、占用空间不是非常大的RDD。数据缓存的目的是加速计算,即加速后续运行的job。是为了能够可靠读写,因此主要使用分布式文件系统作为存储空间。运行失败后能够快速恢复,也就是说加速当前需要重新运行的job。,如关联的数据过多、计算链过长、被多次重复使用等。的lineage没有影响,这样如果缓存后的。的时延影响,会额外启动专门的。原创 2023-08-15 16:47:37 · 127 阅读 · 0 评论 -
谁能讲清楚Spark之Spark逻辑处理流程
本次主要介绍Spark是如何将应用程序转化为逻辑处理流程的,包括RDD数据模型概念、数据操作概念,以及数据依赖关系的建立规则等。原创 2023-08-13 10:48:28 · 221 阅读 · 0 评论 -
谁能讲清楚Spark之与MapReduce的对比
我们已经知道Spark是如何设计和实现数据处理流程的,这里我们 再深入思考一下,为什么Spark能够替代MapReduce成为主流的大数据处理框架呢?对比MapReduce,Spark究竟有哪些优势?原创 2023-08-13 10:59:48 · 751 阅读 · 0 评论 -
谁能讲清楚Spark之Spark系统架构
Spark与Hadoop MapReduce的结构类似,Spark也采用Master-Worker结构。如果一个Spark集群由4个节点组成,即1个Master节点和3个Worker节点,那么在部署Standalone版本后,Spark部署的系统架构图如图2.1所示。简单来说,Master节点负责管理应用和任务,Worker节点负责执行任务。原创 2023-08-12 17:54:19 · 691 阅读 · 0 评论 -
谁能讲清楚Spark之生产性能调优
1 HashAggregate 运算符表示数据聚合,一般 HashAggregate 是成对出现,第一个HashAggregate 是将执行节点本地的数据进行局部聚合,另一个 HashAggregate 是将各个分区的数据进一步进行聚合计算。5 formatted 以分隔的方式输出,它会输出更易读的物理执行计划,并展示每个节点的详细信息。在实际的生产环境中,提交spark任务时,使用spark-submit shell脚本,在里面调整对应的参数。如:select name, id…原创 2023-08-20 16:43:14 · 173 阅读 · 0 评论 -
谁能讲清楚Spark之小白入门
以上是大数据中对此类框架的概述,不同处理框架的内部的逻辑可以说核心思想类似,又不尽相同。请期待下一篇《谁能讲清楚Spark之Spark系统架构》原创 2023-07-28 10:52:05 · 193 阅读 · 0 评论