Hadoop HA搭建步骤配置文件

原创 2018年04月15日 12:42:45

Hadoop HA 搭建:


准备四台机器:

1.配置hdfs-site.xml 文件

<property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node2:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node2:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/ftian/hadoop/ha/jn</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>

</property>

<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>

 </property>


2.core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/sxt/hadoop/local</value>
    </property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node2:2181,node3:2181,node4:2181</value>
 </property>


配置完成后向node2,node3,node4分发 hdfs-site.xml,core-site.xml文件

3.配置zookeeper(node2)

把zoo_sample.cfg文件重新命名为zoo.cfg.

conf/zoo.cfg

dataDir=/var/sxt/zk

在zoo.cfg文件末尾加:

server.1=192.168.64.12:2888:3888

server.2=192.168.64.13:2888:3888

server.3=192.168.64.14:2888:3888

/var/sxt/zk

在zk文件下 执行:echo 1 > myid (在node2,node3,node4分别执行)

分发给node3,node4.

4.启动配置

1).zkServer.sh start(node2,node3,node4)   在node1上格式化 hdfs zkfc -formatZK

2).hadoop-daemon.sh start journalnode(node1,node2,node3)

3).node1 

hdfs namenode –format

hadoop-deamon.sh start namenode

node2: hdfs namenode  -bootstrapStandby

4).start-dfs.sh

hadoop--HA分布式集群部署步骤总结

一、理论基础 ( 一)  HA 概念以及作用    HA(High Available), 高可用性群集,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。...
  • x1066988452
  • x1066988452
  • 2016-07-18 11:30:36
  • 1500

关于Hadoop-HA的配置---从零开始

写在文前,可能我说的有不对的地方,希望各位老鸟批评指正,本着虚心接受的态度分享这篇文章! 关于hadoop-ha大家配置的时候可能会遇到这样或者那样的报错,实在很让人头疼,因为操作有点多,也很多人不知...
  • lsr40
  • lsr40
  • 2017-08-14 19:22:41
  • 3357

Hadoop HA高可用集群搭建(2.7.2)

1.集群规划: 2.前期准备: 3.搭建zookeeper集群(drguo3/drguo4/drguo5)
  • Dr_Guo
  • Dr_Guo
  • 2016-03-24 22:33:12
  • 14159

Hadoop 2.0 HA高可用集群配置详解

本文介绍了Hadoop2.0的HA高可用架构,并详细记录了HDFS HA和YARN HA集群的搭建过程,最后通过运行一个MR任务对集群功能进行测试。...
  • carl810224
  • carl810224
  • 2016-08-09 10:30:26
  • 5465

HA HADOOP集群和HIVE部署

HDFS HA HADOOP集群和Hive部署
  • yjyzsl
  • yjyzsl
  • 2016-08-16 18:55:11
  • 1916

Hadoop集群之Hive HA 安装配置

Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外...
  • haoxiaoyan
  • haoxiaoyan
  • 2016-10-13 15:22:28
  • 1369

Hadoop2.6.2完全分布式集群HA模式安装配置详解

一、机器配置清单(8节点) hadoop100 节点:NameNode、DFSZKFailoverController(ZKFC) hadoop101 节点:NameNode、DFSZKFailo...
  • ltliyue
  • ltliyue
  • 2016-04-13 16:15:43
  • 5029

搭建hadoop2.6.0 HA及YARN HA (很不错的博文)

搭建hadoop2.6.0 HA及YARN HA (很不错的博文)信息介绍挺详细的,值的一看。。。...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2016-02-14 15:50:58
  • 1381

Hadoop HA(高可用)环境的搭建

Hadoop HA(高可用)环境的搭建:集群布局:集群描述: 集群中有两个NameNode,两个ResourceManager。实现了NameNode的HA方案以及ResourceManager单...
  • u011204847
  • u011204847
  • 2016-03-18 21:43:22
  • 2100

hadoop3.0集群搭建HA

  • 2018年02月06日 13:18
  • 59KB
  • 下载
收藏助手
不良信息举报
您举报文章:Hadoop HA搭建步骤配置文件
举报原因:
原因补充:

(最多只允许输入30个字)