- 博客(2)
- 收藏
- 关注
RSS订阅原创 HDFS读写数据流程
1.数据读取流程 1)客户端通过DistributedFileSystem模块向NameNode请求下载文件。 2)NameNode通过查询元数据，找到文件每一个Block块所在的DataNode地址，将其返回给客户端。 3)客户端挑选一台DataNode(就近原则)服务器，请求读取数据。 4)DataNode将客户端所需的Block从磁盘里面读取出来，以Packet为单位来做校验，如果校验失败则通知客户端，客户端会重新向存有此Block副本的其他DataNode发送读取请求。校验成功
2021-09-12 15:13:25
153
原创 HDFS中block的大小
block的大小与修改Hadoop2.x/3.x版本中Block的默认大小为128M，在1.x的版本中默认为64M，开发人员可以在hdfs-site.xml中添加如下标标签进行修改。<!-- hdfs-site.xml --> <property> <name>dfs.blocksize</name> #value值代表block块的大小 <value>256m</value></property>H
2021-09-09 10:30:41
922
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人