hadoop HA 搭建

2019独角兽企业重金招聘Python工程师标准>>>

1. 修改配置文件

• {hadoop_home}/etc/hadoop/hadoop-env.sh

修改jdk路径

• {hadoop_home}/etc/hadoop/hdfs-site.xml

<!-- secondarynamenode的http服务器地址和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>HADOOP01:50090</value>
</property>
<!-- 默认块复制 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 关闭权限校验 -->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!-- namenode的http服务器地址和端口 -->
<property>
<name>dfs.namenode.http-address</name>
<value>HADOOP01:50070</value>
</property>
<!--指定namenode的元数据目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/bigdata/hadata/dfs/name</value>
</property>
<!-- datanode结点被指定要存储数据的本地文件系统路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/bigdata/hadoop/data/dfs/dn</value>
</property>
<!--HDFS的命名空间，逻辑名-->
<property>
<name>dfs.nameservices</name>
<value>yulang</value>
</property>
<!--yulang下的namenode的别名-->
<property>
<name>dfs.ha.namenodes.yulang</name>
<value>nn1,nn2</value>
</property>
<!--指定nn1和nn2的通信地址-->
<property>
<name>dfs.namenode.rpc-address.yulang.nn1</name>
<value>HADOOP01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.yulang.nn2</name>
<value>HADOOP02:8020</value>
</property>
<!--指定namenode的web通信地址-->
<property>
<name>dfs.namenode.http-address.yulang.nn1</name>
<value>HADOOP01:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.yulang.nn2</name>
<value>HADOOP02:50070</value>
</property>
<!--指定共享目录-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://HADOOP01:8485;HADOOP02:8485;HADOOP03/yulang</value>
</property>
<!--指定开启namenode失败自动转移-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--指定失败转移的类-->
<property>
<name>dfs.client.failover.proxy.provider.yulang</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--防止namenode的脑裂-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/bigdata/.ssh/id_rsa</value>
</property>
<!--指定超时时间-->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<!--指定日志的本地目录-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/bigdata/hadata/journal</value>
</property>

• yarn-site.xml

<!-- resourcemanager提供给nodemanager的地址 -->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>HADOOP01:8031</value>
</property>

<!--是否开启yarn的HA-->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>

<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yulang_yarn</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>HADOOP01</value>
</property>

<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>HADOOP02</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>HADOOP01:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>HADOOP02:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>HADOOP01:2181,HADOOP02:2181,HADOOP03:2181</value>
</property>

<!-- 分配给容器的物理内存量（75%） -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1536</value>
</property>
<!-- NodeManager上运行的附属服务,配置成mapreduce_shuffle才可运行MR -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

• core-site.xml

<!-- Hadoop文件系统依赖的基础配置 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/bigdata/hadoop/data</value>
</property>
<!-- NameNode结点的URI(包括协议、主机名称、端口号) -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://yulang</value>
</property>
<!-- 开启回收站机制，可以设置文件彻底删除的时间，默认为0，单位为分钟 -->
<property>
<name>fs.trash.interval</name>
<value>60</value>
</property>
<!--指定zk的集群地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>HADOOP01:2181,HADOOP02:2181,HADOOP03:2181</value>
</property>

2. 将配置信息通过ssh免密协议传输到其他的服务器上

scp -r /home/bigdata/hadoop-2.7.2/etc/hadoop/ HADOOP02:/home/bigdata/hadoop-2.7.2/etc/

scp -r /home/bigdata/hadoop-2.7.2/etc/hadoop/ HADOOP03:/home/bigdata/hadoop-2.7.2/etc/

3. 启动高可用集群

1. hadoop-deamons.sh start journalnode

启动journalnode集群

2. hdfs namenode -format

选择一台namenode进行格式化并启动

3. hdfs namenode -bootstraoStandby

在另一台namenode服务器进行拉取元数据操作(或者手动copy数据过来)

4. hdfs zkfc -formatZK

格式化zkfc

5. start-dfs.sh //并检查节点都是否启动，若没有，则单独启动(hadoop-deamon.sh start xxx)

启动hdfs模块

//namenode服务器主要的节点有：naemnode、datanode、journalnode、DFSZKFailoverController、QuorumPeerMain
//子节点服务器主要的节点有：JournalNode、datanode、QuorumPeerMain

6. start-yarn.sh //另一台namenode服务器需要单独启动resourceManager节点

启动yarn模块

转载于:https://my.oschina.net/yulang/blog/2246162