![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Slicke_
这个作者很懒,什么都没留下…
展开
-
YARN集群角色
ResourceManager YARN集群中的主节点, 可以部署多个, 一般部署两个 作用 接收客户端提交的任务请求 在NodeManager上为每一个任务启动对应的ApplicationMaster程序 负责资源的调度工作 负责整个集群的管理 在ResourceManager中所管理的内存以及CPU, 是所有NodeManager的总和 NodeManager YARN集群中从节点, 可以部署多个, 一般部署的数量和DataNode节点数相同 作用 负责任务的执原创 2022-03-26 19:10:23 · 904 阅读 · 0 评论 -
HDFS写入流程(文字版)
客户端发送请求, 连接NameNode, 请求写入操作. NameNode接收到请求后, 判断用户有无写入权限, 如果没有, 报错. 如果有写入权限, 判断写入路径下有无这个文件, 如果有, 报错, 如果没有, 通知客户端可以写入. 客户端接收到可以写入的信息后, 开始对文件进行切分, 行程多个block块. 客户端请求NameNode, 第一个block应该存储在哪些DataNode中. NameNode根据机架感知, 网络拓扑图关系, 副本机制, 来寻找适合的DataNode, 形成地址列表,原创 2022-03-26 18:54:00 · 1158 阅读 · 0 评论