- 博客(2)
- 收藏
- 关注
原创 HDFS读写数据流程
1.数据读取流程 1)客户端通过DistributedFileSystem模块向NameNode请求下载文件。 2)NameNode通过查询元数据,找到文件每一个Block块所在的DataNode地址,将其返回给客户端。 3)客户端挑选一台DataNode(就近原则)服务器,请求读取数据。 4)DataNode将客户端所需的Block从磁盘里面读取出来,以Packet为单位来做校验,如果校验失败则通知 客户端,客户端会重新向存有此Block副本的其他DataNode发送读取请求。校验成功
2021-09-12 15:13:25 167
原创 HDFS中block的大小
block的大小与修改 Hadoop2.x/3.x版本中Block的默认大小为128M,在1.x的版本中默认为64M,开发人员可以在hdfs-site.xml中添加如下标标签进行修改。 <!-- hdfs-site.xml --> <property> <name>dfs.blocksize</name> #value值代表block块的大小 <value>256m</value> </property> H
2021-09-09 10:30:41 963
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人