![](https://img-blog.csdnimg.cn/2021091019164217.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
Hadoop学习笔记
liu_yu_ran
学习中...
展开
-
HDFS读写数据流程
1.数据读取流程 1)客户端通过DistributedFileSystem模块向NameNode请求下载文件。 2)NameNode通过查询元数据,找到文件每一个Block块所在的DataNode地址,将其返回给客户端。 3)客户端挑选一台DataNode(就近原则)服务器,请求读取数据。 4)DataNode将客户端所需的Block从磁盘里面读取出来,以Packet为单位来做校验,如果校验失败则通知客户端,客户端会重新向存有此Block副本的其他DataNode发送读取请求。校验成功原创 2021-09-12 15:13:25 · 161 阅读 · 0 评论 -
HDFS中block的大小
block的大小与修改Hadoop2.x/3.x版本中Block的默认大小为128M,在1.x的版本中默认为64M,开发人员可以在hdfs-site.xml中添加如下标标签进行修改。<!-- hdfs-site.xml --> <property> <name>dfs.blocksize</name> #value值代表block块的大小 <value>256m</value></property>H原创 2021-09-09 10:30:41 · 957 阅读 · 0 评论