Hadoop的高可用模式

Hadoop的高可用模式

(个人理解)
hadoop的高可用模式就是实现hadoop的主从,主节点的namenode挂掉以后,从节点的namenode可以直接顶替master继续使用

使用三台虚拟机,名称分别为 master node1 node2
1.配置免密
3、免密钥 (远程执行命令)
在两个主节点生成密钥文件
master和node1都操作

	ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
	ssh-copy-id ip
	master-->master,node1,node2
	node1-->master,node1,node2

修改hadoop配置文件
core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml

core-site.xml:

		<name>fs.defaultFS</name>
		<value>hdfs://cluster</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
	</property>
	<property>
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>
	<property>
	      <name>ha.zookeeper.quorum</name>
	      <value>master:2181,node1:2181,node2:2181</value>
	</property>     
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一个分布式计算框架,它的高可用性非常重要。在Hadoop集群中,如果一个节点宕机或出现故障,会影响整个集群的运行。因此,为了保证Hadoop集群的高可用性,需要搭建高可用集群。以下是Hadoop高可用集群搭建的步骤: 1. 安装ZooKeeper ZooKeeper是Hadoop集群高可用性的核心组件。在Hadoop 2.x版本中,ZooKeeper是必须的。因此,需要先安装ZooKeeper。 2. 配置ZooKeeper 在ZooKeeper中,需要配置一些参数,如集群节点的IP地址、端口号等。这些参数将用于确保ZooKeeper在Hadoop集群中的正常运行。 3. 配置HadoopHadoop中,需要配置一些参数以确保Hadoop与ZooKeeper的正确交互。需要修改hdfs-site.xml和core-site.xml文件。 4. 配置NameNode的高可用性 NameNode是Hadoop集群中的关键组件之一。为了确保NameNode的高可用性,需要将其配置为Active-Standby模式。这意味着在一个节点宕机时,另一个节点将成为Active节点,继续处理请求。 5. 配置ResourceManager的高可用性 ResourceManager是YARN的关键组件之一,它管理着整个集群的资源。为了确保ResourceManager的高可用性,需要将其配置为Active-Standby模式。这意味着在一个节点宕机时,另一个节点将成为Active节点,继续处理请求。 6. 测试集群 最后,需要测试Hadoop集群的高可用性。可以通过关闭某个节点来模拟节点宕机的情况,然后观察Hadoop集群的行为。 以上是Hadoop高可用集群搭建的步骤。通过这些步骤,可以确保Hadoop集群的高可用性,提高整个集群的稳定性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值