- 博客(2)
- 收藏
- 关注
RSS订阅原创 HDFS架构
HDFS介绍 HDFS核心由namenode和datanode构成，namenode负责集群元数据管理，datanode负责数据存储。如下官网盗图： namenode HA架构(基于Quorum Journal Manager) namenode除了写fsimage，还会刷editlog。基于JournalNodes的守护进程同步editlog.并在故障发生时从editlog中恢复。同时为了避免脑裂，还可以设置隔离机制，用于阻止inactice namenode继续工作。 对于自动failover,HD
2020-12-08 19:12:00
97
原创 spark启动流程
spark概览 Spark应用程序在群集上作为独立的进程集运行,可以部署在不同环境的集群上，包括(yarn,mesos,standalone,etc…). 由driver中的SparkContext对象协调,这涉及到大概以下环节 用户client端提交应用程序，根据不同环境启动不同的client端。 sparkContext初始化 执行用户程序(job提交，RDD划分statge，生成task) 资源申请 executor注册 makeoffer executor执行 yarn-cluste
2020-12-08 19:07:27
909
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人