- 博客(3)
- 收藏
- 关注
RSS订阅原创 HDFS读数据的流程
3.这时NameNode会把block块的位置信息返回给客户端，这时客户端会得到一个客户端会得到一个 FSDataInputStream输入流对象。2.NameNode接受到客户端的请求之后，将文件的前几个block块的位置按照其所在的DataNode与客户端的网络拓扑距离的远近进行一个排序。4.客户端会根据每个block块的位置，选择一个就近的DataNode去读取相应的block块中的内容。1.首先客户端会向NameNode发送一个请求获取下载文件的前几个block块的位置。
2023-07-12 11:13:19
222
1
原创 HDFS写数据的流程
5.然后再和NameNode 进行通信， 在上传每个block之前，需要请求NameNode根据 副本策略挑选一组DataNode，保存block数据块。8.HDFS pipeline管道传输数据的过程中，传输的反方向会进行ACK校验，确保数据传输安全。2.这时NamNode会检查文件是否存在，文件夹是否存在，用户是否存在操作的权限。9.最后客户端通知Name Node文件上传完成，等待NameNode确认。4.这时候客户端会对上传文件进行分块处理，默认情况下 为128M/块。
2023-07-12 10:32:10
171
1
原创 yarn集群的执行流程
6任务在进行的时候 会向MRAppMaster 汇报自己的状态和进度，以让 MR App Master 随时掌握各个任务的运行状态，从而可以在任务失败的时候重新启动任务。3、MRAppMaster 首先向 Resource Manager 进行注册，这样用户可以直接通过 Resource Manager 查看应用程序的运行状态。5、当MRAppMaster 申请到资源后，便与对应的 Node Manager 通讯，启动任务。4、MRAppMaster 向 Resource Manager 申请和领取资源。
2023-07-11 19:28:47
191
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人