- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop-HDFS 写数据流程
HDFS写数据流程： 客户端向NameNode请求写数据 NameNode判断客户端针对该文件是否有写的权限。没有则报错。再判断文件是否存在，不存在则报错，存在则通知客户端上传 HDFS客户端负责对文件进行切片。默认128m/块 客户端再次请求NameNode，上传第一个block块。 Namenode根据副本机制、负载均衡、机架感知原理和网络拓扑图，找到可以存放第一个block块的DataNode列表 客户端根据接收到的列表，连接最近的机器，然后依次
2023-01-05 21:16:12
157
1
原创 Hadoop-HDFS读数据流程
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
2022-12-14 11:51:51
567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人