- 博客(3)
- 收藏
- 关注
原创 HDFS读数据的流程
3.这时NameNode会把block块的位置信息返回给客户端,这时客户端会得到一个客户端会得到一个 FSDataInputStream输入流对象。2.NameNode接受到客户端的请求之后,将文件的前几个block块的位置按照其所在的DataNode与客户端的网络拓扑距离的远近进行一个排序。4.客户端会根据每个block块的位置,选择一个就近的DataNode去读取相应的block块中的内容。1.首先客户端会向NameNode发送一个请求获取下载文件的前几个block块的位置。
2023-07-12 11:13:19 223 1
原创 HDFS写数据的流程
5.然后再和NameNode 进行通信, 在上传每个block之前,需要请求NameNode根据 副本策略挑选一组DataNode,保存block数据块。8.HDFS pipeline管道传输数据的过程中,传输的反方向会进行ACK校验,确保数据传输安全。2.这时NamNode会检查文件是否存在,文件夹是否存在,用户是否存在操作的权限。9.最后客户端通知Name Node文件上传完成,等待NameNode确认。4.这时候客户端会对上传文件进行分块处理,默认情况下 为128M/块。
2023-07-12 10:32:10 172 1
原创 yarn集群的执行流程
6任务在进行的时候 会向MRAppMaster 汇报自己的状态和进度,以让 MR App Master 随时掌握各个任务的运行状态,从而可以在任务失败的时候重新启动任务。3、MRAppMaster 首先向 Resource Manager 进行注册,这样用户可以直接通过 Resource Manager 查看应用程序的运行状态。5、当MRAppMaster 申请到资源后,便与对应的 Node Manager 通讯,启动任务。4、MRAppMaster 向 Resource Manager 申请和领取资源。
2023-07-11 19:28:47 192 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人