大数据-Hadoop的四大机制

Hadoop四大机制

1.心跳机制

		** 心跳的报告信息:datanode块信息,存活状态
		** 每三秒datanode向namenode发送心跳信息
		** 连续10次未收到心跳信息,namenode会向datanode发送验证信息,10分钟一次,两次未响应,则datanode可能宕机了,时间是:3*10+300*2 = 630s

2.安全模式

• 集群启动顺序:namenode - datanode - secondarynamenode
• 集群在启动时，由于要加载元数据，集群自动处于自我保护状态，安全模式 此模式下只能进行数据读的操作，任何可能更改元数据 的操作都被禁止
• 手动进入安全模式命令: Hdfs dfsadmin -safemode enter/leave/get/wait
• 元数据包括:
  1.抽象目录树
  2.数据和块的对应关系
  3.数据块的存储位置
• 集群在启动的过程中namenode需要:将硬盘的元数据加载到内存中,接受datanode的心跳报告

3.机架策略(副本存放策略)

• 1.默认两个机架,3个副本
• 2.第一个副本存放在客户端所在节点（前提是 客户端是集群的某一个节点）
  如果客户端不是集群中的一个节点，则任意存储
• 3.第二个副本存储在与第一副本存放节点不同的机架的任意节点上
• 4.第三个副本存储在与第二个副本相同机架的不同节点上
  实际生产中：不同节点 不同机架 不同机房 不同数据中心

4.负载均衡

• 1.系统会自动进行负载均衡,默认1M/s

• 2.手动负载均衡的方式:加大带宽,告诉系统及时进行负载均衡

    	命令: start -balancer.sh -t 10%