![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop 3.1.1
文章平均质量分 67
新手小农
这个作者很懒,什么都没留下…
展开
-
Hadoop -hdfs的读写请求
5、此时客户端会将block切分成多个package,以package的形式传递到DN中,在pipiline中依次传输,当传输到最后一个DN的时候,就会返回一个ack响应,当客户端接收到最后一个DN传输过来的ack,此时package就传输完成,然后一次传输package。4、客户端会选择距离较近的DN中去读取block,如果客户端就在DN中,就会在自生读取block,当block读取完成后,文件读取还没有结束,此时客户段会向NN继续发送读数据的请求,获取下一批的block的地址。原创 2023-11-22 16:19:52 · 870 阅读 · 0 评论 -
Hadoop-- hdfs
首先在启动的时候,namenode是不会存储任何datanode与block的映射关系,是datanode会自动的将这种映射关系汇报给namenode,然后namenode会根据datanode的提供的关系自动的生成映射关系。2、存储元数据信息,会将文件的一些属性、文件的大小、文件的权限都存储在namenode上面,和存储block的位置信息,在每次开启集群的时候datanode会向namenode汇报block的信息。NN也会将存储的元数据信息存储到磁盘中,此时会使用到两个文件,分别是。原创 2023-11-20 20:41:06 · 643 阅读 · 0 评论 -
Hadoop -- 分布式文件系统
在Hadoop1.0的版本中,默认的大小是64M,在Hadoop2.0以及后面的版本中,默认的大小是128M,这样的目的是达到最小的寻址开销。不管文件有多大,所有的文件都是由字节数组构成,当想要切分文件的时候,就是将一个字节数组切分成多份,当需要使用这份数据的时候,就可以根据偏移量将字节数据拼接在一起,此时数据又可以继续使用。然么对于不同的文件的block的大小是可以不一样的,不同的文件的大小可以设置成不同数量的block数量。当文件存储在磁盘中,不仅效率比较低,并且文件的大小可能会超出单机的存储的范围。原创 2023-11-20 19:06:09 · 1494 阅读 · 0 评论 -
Hadoop的概述
Hadoop是一个基于海量数据的分布式存储和分布式计算的平台。原创 2023-11-15 22:05:47 · 750 阅读 · 0 评论