Hadoop的三个核心:
HDFS(分布式存储系统)
MapReduce(分布式计算系统)
YARN (分布式资源调度)
1.Hadoop集群的几种搭建模式
- 1.单机模式:直接解压安装,不存在分布式存储系统
- 2.伪分布式:NameNode和DataNode安装于同一个节点,无法体现分布式处理的优势。
- 3.完全分布式:一个主节点,多个从节点,存在如果主节点宕机,集群就无法使用的缺点。
- 4.高可用模式:多个主节点,多个从节点,同一时间只有一个主节点对外服务,当提供服务的主节点出现故障时,其他任意一个主节点可以代替它,必须保持所有主节点实时数据一致,缺点主节点压力大容易出现宕机。
- 5.联邦模式:多个主节点,多个从节点,同一时间多个主节点分别负责部分从节点对外提供服务。
实际生产中超大集群一般采用高可用和联邦模式结合的方式部署。
2.HDFS的心跳机制
当NameNode和DataNode启动后,他们会保持通讯,DataNode会定时发送心跳报告到NameNode(默认时间间隔是3秒),以便让NameNode随时了解DataNode 的健康状态,当NameNode连续10次(默认值)未收到某一个DataNode的心跳报告时,NameNode会主动向DataNode发送检查,容许发送2次检查,每次检查默认时间是300秒,当2次检查都没有结果时断定这个DataNode节点宕机。
默认断定一个DataNode节点宕机的时间为103s+25min=630s
3.HDFS的机架感知策略
默认副本为3个,第一个副本放在本地节点存储,第二个副本放在和第一个副本不同机架任意节点,第三个副本放在和第二同机架的其他任意节点,这样既可以保证本地访问数据的速率,还可以尽可能保证数据的副本的安全。
4.HDFS的上传(写)下载(读)机制
上传机制
- 1.客户端(client)向NameNode发送文件上传请求;
- 2.NameNode会进行一系列检查,如用户权限、父目录是否存在、文件是否重名,成功则会为文件创建一个记录,否则向客户端抛出异常
- 3.NameNode检查通过