- 博客(8)
- 收藏
- 关注
RSS订阅原创 Zookeeper：选举机制
简单概述一下就是：启动服务器需达到半数以上，着半数服务器都会将票投给当前集群id最大的一个。半数以后新启动的服务器会将票投给最大的一个，前面的已经参与投票的服务器不会再次投票。最后票数最多的服务器成为leader。
2023-10-23 21:54:16
35
原创 Yarn:工作机制
6.RM将这个任务请求初始化为一个Task，然后将Task放在FIFO调度队列中，该队列在一个RM节点的一个容器里。12.MRA品牌Master向容器中发送对应的启动脚本，待MapTask任务完成后将分区结果序列化磁盘。4.YarnRunner向该路径上传对应的资源，如JAR包，切片信息文件，配置xml。3.RM返回一个Application的提交路劲，该路径在HDFS上。14.领取到任务的NodeManager申请运行容器。10.NM向RM申请运行MapTask任务的容器。
2023-10-17 23:12:51
31
原创 YARN的组成
作为应用程序申请资源分配给内部的mapreduce任务。处理来自ApplicationMaster的命令。启动和监控ApplicationMaster。监控NodeManager。管理单个节点上的资源。4.Container（容器）
2023-10-14 20:15:36
26
原创 MapReduce工作流程
1.客户端在submit提交作业之前获取待处理信息，根据参数配置信息形成一个任务分配规划信息（如数据切片信息，各种参数配置元数据等）2.客户端提交作业信息，内容包括：split切片信息，jar包，xml参数配置信息3.YarnRM，计算出MapTask的数量，有MrAppMaster同一管理分配到各NodeManager上4.MapTask任务中，由InputFormat（有多种，默认为TextInputFormat文件读取）来管理，RecorderReader来读取数据。
2023-10-12 00:13:45
46
原创 HDFS：DataNode工作机制
5.DataNode超过10分钟+30秒没有上报心跳，则NameNode将该节点移出认为该节点不可用。1.DataNode启动后向NameNode注册，汇报当前DataNode所有的block块信息。3.DataNode每周期上报块信息（默认6小时，可配置）2.NameNode收到后，向元数据中记录。4.心跳检测，三秒一次。
2023-10-11 22:43:49
86
原创 HDFS：NameNode与SecondaryNameNode的工作机制
fsimage文件：记录HDFS文件系统的所有目录和文件inode序列化信息。也就是相当于记录元数据edits文件：记录所有HDFS文件系统中所有更新操作，当更新操作发生时首先记录到此文件seen_txid文件：保存最新一个edits文件的数字。
2023-10-11 22:36:57
118
原创 HDFS读取文件的流程
1.客户端向namenode发送请求，namenode返回文件的元数据信息。2.客户端挑选最近的dn，下载对应的block。3.客户端最后合并所有的block。
2023-10-10 16:19:13
38
原创 HDFS存储文件的流程：
2.客户端分割文件，然后向namenode请求上传到哪个datanode，namenode根据配置返回需要上传到的datanode路径。3.客户端向第一个datanode建立传输通道，dn1向dn2建立传输通道，然后依次建立，最后一个dn以此向前响应建立成功。5.第一个文件块传输完成后，客户端继续传送第二个block块，重复上述步骤，直到完成所有block的传输。4.客户端向dn1传输一个block文件块，dn1依次向后传输block快。
2023-10-10 16:18:29
59
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人