![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
王乐乐0727
这个作者很懒,什么都没留下…
展开
-
Hadoop 《一,HDFS 分布式文件系统》
Hadoop-HDFS存储模型:字节-文件线性切割成块(Block):偏移量 offset-block分散存储在集群结点中-单一文件block大小一致,文件与文件可以不一致-block可以设置副本数,副本无序分散在不同结点中>副本数不要超过结点数量-文件上传可以设置block大小和副本数(资源不够开辟的进程)-以上传的文件block副本数可以调整,大小不变(2.X以上版本,...原创 2019-01-09 14:40:32 · 167 阅读 · 0 评论 -
Hadoop2.x 常见端口号
原创 2019-02-24 18:05:45 · 1522 阅读 · 0 评论 -
HDFS的Shell操作
1.基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令dfs是fs的实现类。2.命令大全[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs[-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…]...原创 2019-03-18 16:37:02 · 143 阅读 · 0 评论 -
HDFS的数据流(面试重点)
一,HDFS写数据流程1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。2)NameNode返回是否可以上传。3)客户端请求第一个 Block上传到哪几个DataNode服务器上。4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。5)客户端通过FSDataO...原创 2019-03-18 21:50:18 · 130 阅读 · 0 评论 -
NameNode和SecondaryNameNode(面试开发重点)
一,NN和2NN工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新Fs...原创 2019-03-18 21:57:36 · 431 阅读 · 0 评论