![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
梦想_架构
这个作者很懒,什么都没留下…
展开
-
HDFS的写的流程
1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 2)NameNode返回是否可以上传。 3)客户端请求第一个 Block上传到哪几个DataNode服务器上。 4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。 5)客户端通过FSDataOutputStre...原创 2019-07-09 21:55:37 · 83 阅读 · 0 评论 -
hadoop节点距离计算
例如,假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记,这里给出四种距离描述,如图1所示。 大家算一算每两个节点之间的距离,如图所示。 ...原创 2019-07-09 22:04:16 · 746 阅读 · 0 评论 -
HDFS的读数据流程
1)客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。 2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。 3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。 4)客户端以Packet为单位接收,先在本地缓存,然后写...原创 2019-07-09 22:12:14 · 374 阅读 · 0 评论 -
NN和2NN工作机制
思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同...原创 2019-07-09 22:17:17 · 3777 阅读 · 2 评论 -
NameNode故障处理
方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录; 1. kill -9 NameNode进程 2. 删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name) [*****@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/...原创 2019-07-10 21:07:36 · 195 阅读 · 0 评论 -
DataNode的工作机制
1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。 3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。...原创 2019-07-10 21:49:08 · 199 阅读 · 0 评论