![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
大数据_
玛卡巴卡
展开
-
NameNode HA
一是必须要保证这两个 Namenode 的元数据信息必须要同步的 一:元数据信息同步在HA中使用的方案是共享存储,就是说每次写文件时,将日志同步写入到共享储存,这个步骤成功才能判定写文件成功,以便主备切换 二是一个 Namenode 挂掉之后 另一个要立马补上 二:监控集群状态使用zookeeper,两个节点的状态注册在zookeeper中,Namenode 节点进程监控实时读取zookeeper中的Namenode 状态,如果standby的Namenode 的ZKFC发现主节点的Namenode 挂掉了原创 2021-08-01 21:40:43 · 101 阅读 · 0 评论 -
HDFS读写流程
1.1:HDFS读流程 ①客户端向Namenode发送读请求,申请数据块(block)位置信息 ②Namenode收到请求后,先检查是否有这个文件 其次检查是否有足够的权限,然后返回block列表 (针对于每个block,Namenode都会返回该block的Datanode地址) ③返回的每个DN地址按照集群拓扑结构找出距离客户端最近的节点,来读取block信息(可以理解为就近原则,短路读取特性) ④客户端以Packet为单位接收,先在本地缓存,然后写入目标文件 ⑤当读完列表的 block 后,若文件读取原创 2021-08-01 20:05:09 · 217 阅读 · 1 评论