Hadoop
王乐乐0727
这个作者很懒,什么都没留下…
展开
-
Hadoop 《一,HDFS 分布式文件系统》
Hadoop-HDFS 存储模型:字节 -文件线性切割成块(Block):偏移量 offset -block分散存储在集群结点中 -单一文件block大小一致,文件与文件可以不一致 -block可以设置副本数,副本无序分散在不同结点中 >副本数不要超过结点数量 -文件上传可以设置block大小和副本数(资源不够开辟的进程) -以上传的文件block副本数可以调整,大小不变 (2.X以上版本,...原创 2019-01-09 14:40:32 · 174 阅读 · 0 评论 -
Hadoop2.x 常见端口号
原创 2019-02-24 18:05:45 · 1532 阅读 · 0 评论 -
HDFS的Shell操作
1.基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2.命令大全 [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs [-appendToFile … ] [-cat [-ignoreCrc] …] [-checksum …] [-chgrp [-R] GROUP PATH…]...原创 2019-03-18 16:37:02 · 155 阅读 · 0 评论 -
HDFS的数据流(面试重点)
一,HDFS写数据流程 1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 2)NameNode返回是否可以上传。 3)客户端请求第一个 Block上传到哪几个DataNode服务器上。 4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。 5)客户端通过FSDataO...原创 2019-03-18 21:50:18 · 136 阅读 · 0 评论 -
NameNode和SecondaryNameNode(面试开发重点)
一,NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新Fs...原创 2019-03-18 21:57:36 · 442 阅读 · 0 评论