![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
文章平均质量分 88
爱喝水的绿萝
这个作者很懒,什么都没留下…
展开
-
HDFS入门
HDFS一、HDFS架构HDFS块大小的问题:Hadoop1.x默认block大小64MB Hadoop2.x 3.x默认block大小128MB 实际生产中一般256MB或512MB块大小的设置依据: 经过大量测试得出的结论:磁盘寻址时间和文件读写时间为1:100时,HDFS性能最佳 block过小,文件数量较多,NN压力较大,文件查找时间增加 block过大,读取一个block的时间较长,单个MapTask处理较慢HDFS 命令行操作 hadoop fs -命令 .原创 2021-11-19 09:50:55 · 220 阅读 · 0 评论 -
HDFS入门(二)
三、HDFS写数据流程(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。(2)NameNode返回是否可以上传。(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。(5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后d.原创 2021-11-19 09:56:08 · 631 阅读 · 0 评论