五节点hadoop HA安装教程

最新推荐文章于 2023-03-23 21:35:25 发布
最新推荐文章于 2023-03-23 21:35:25 发布
阅读量151 收藏
点赞数
分类专栏： hadoop 文章标签： HA hadoop

五节点HadoopHA安装教程：
Master1 namenode,resourcemanager,nodemanager,datanode,journalnode, DFSZKFailoverController
Master2 namenode,resourcemanager,nodemanager,datanode,journalnode, DFSZKFailoverController
Slave1 nodemanager,datenode,journalnode, QuorumPeerMain
Slave2 nodemanager,datenode,journalnode, QuorumPeerMain
Slave3 nodemanager,datenode,journalnode, QuorumPeerMain

  1. 安装jdk
    配置环境变量

JAVA

export JAVA_HOME=/home/zhouwang/jdk1.8.0_151
export PATH=JAVAHOME/bin:PATH
export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:JAVA_HOME/lib:JREHOME/lib:CLASSPATH

2.配置个节点的/etc/hosts文件
192.168.71.128 master1
192.168.71.132 master2
192.168.71.129 slave1
192.168.71.130 slave2
192.168.71.131 slave3

3.配置SSH免密登录
Ssh-keygen -t rsa
Cat id_rsa.pub >> authorized_keys
Chmod 644 authorized_keys
Scp ~/.ssh/id_rsa.pub authorized_keys zhouwang@master:~/.ssh
Authorized_keys的权限必须是640
4.安装zookeeper
重命名conf文件夹下的zoo.example.cfg为zoo.cfg。新修改内容
clientPort=2181
dataDir=/home/zhouwang/zookeeper/data
dataLogDir=/home/zhouwang/zookeeper/log
server.0=master1:2888:3888
server.1=master2:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.4=slave3:2888:3888
在zookeeper文件夹下面创建相应的data和log文件夹，还有myid文件
Mkdir data
Mkdir log
Vim myid 输入1，每个节点的myid文件的值与server.x对应上

配置环境变量如下：

ZOOKEEPER

export ZOOKEEPER_HOME=/home/zhouwang/zookeeper
export PATH=PATH:ZOOKEEPER_HOME/bin

  1. 安装Hadoop
    修改etc/hadoop下的四个配置文件

（1） core-site.xml
 

<property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://master/</value> 
</property>

 

<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/home/zhouwang/hadoop/tmp</value> 
</property>

 

<property> 
    <name>ha.zookeeper.quorum</name> 
    <value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181</value> 
</property>

 

（2） hdfs_site.xml

<property> 
    <name>dfs.namenode.name.dir</name> 
    <value>/home/zhouwang/hadoop/dfs/name</value> 
</property> 
<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>/home/zhouwang/hadoop/dfs/data</value> 
</property> 
<property> 
    <name>dfs.replication</name> 
    <value>3</value> 
</property> 

<!--HDFS高可用配置 --> 
<!--指定hdfs的nameservice，需要和core-site.xml中的保持一致--> 
<property> 
    <name>dfs.nameservices</name> 
    <value>master</value> 
</property> 
<!--指定master的两个namenode的名称 --> 
<property> 
    <name>dfs.ha.namenodes.master</name> 
    <value>nn1,nn2</value> 
</property> 

<!-- nn1,nn2 rpc 通信地址 --> 
<property> 
    <name>dfs.namenode.rpc-address.master.nn1</name> 
    <value>master1:9000</value> 
</property> 
<property> 
    <name>dfs.namenode.rpc-address.master.nn2</name> 
    <value>master2:9000</value> 
</property> 

<!-- nn1.nn2 http 通信地址 --> 
<property> 
    <name>dfs.namenode.http-address.master.nn1</name> 
    <value>master1:50070</value> 
</property> 
<property> 
    <name>dfs.namenode.http-address.master.nn2</name> 
    <value>master2:50070</value> 
</property> 

<!--=========Namenode同步==========--> 
<!--保证数据恢复 --> 
<property> 
    <name>dfs.journalnode.http-address</name> 
    <value>0.0.0.0:8480</value> 
</property> 
<property> 
    <name>dfs.journalnode.rpc-address</name> 
    <value>0.0.0.0:8485</value> 
</property> 
<property> 
    <!--指定NameNode的元数据在JournalNode上的存放位置 --> 
    <name>dfs.namenode.shared.edits.dir</name> 
    <value>qjournal://master1:8485;master2:8485;slave1:8485;slave2:8485;slave3:8485/master</value> 
</property> 

<property> 
    <!--JournalNode存放数据地址 --> 
    <name>dfs.journalnode.edits.dir</name> 
    <value>/home/zhouwang/hadoop/dfs/journal</value> 
</property> 
<property> 
    <!--NameNode失败自动切换实现方式 --> 
    <name>dfs.client.failover.proxy.provider.master</name> 
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property> 

<!--=========Namenode fencing：======== --> 
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 --> 
<property> 
    <name>dfs.ha.fencing.methods</name> 
    <value>sshfence
            shell(/bin/true)</value> 
</property> 
<!-- 使用sshfence隔离机制时需要ssh免登陆 --> 
<property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name> 
    <value>/home/zhouwang/.ssh/id_rsa</value> 
</property> 
<!-- 配置sshfence隔离机制超时时间 --> 
<property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name> 
    <value>30000</value> 
</property> 

<!--开启基于Zookeeper及ZKFC进程的自动备援设置,监视进程是否死掉 --> 
<property> 
    <name>dfs.ha.automatic-failover.enabled</name> 
    <value>true</value> 
</property>

 

(3) mapred-site.xml

<!-- 指定mr框架为yarn方式 -->

 

<name>mapreduce.framework.name</name> 
<value>yarn</value>


 

    <name>mapreduce.jobhistory.address</name> 
    <value>master1:10020</value>


 

    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>master1:19888</value>

 

(4) yarn-site.xml

 

<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序--> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.connect.retry-interval.ms</name> 
    <value>2000</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.ha.enabled</name> 
    <value>true</value> 
</property> 
<!-- 指定RM的cluster id --> 
<property> 
    <name>yarn.resourcemanager.cluster-id</name> 
    <value>cluster</value> 
</property> 
<!--指定两台RM主机名标识符--> 
<property> 
    <name>yarn.resourcemanager.ha.rm-ids</name> 
    <value>rm1,rm2</value> 
</property> 
<!--RM主机1--> 
<property> 
    <name>yarn.resourcemanager.hostname.rm1</name> 
    <value>master1</value> 
</property> 
<!--RM主机2--> 
<property> 
    <name>yarn.resourcemanager.hostname.rm2</name> 
    <value>master2</value> 
</property> 
<!--RM故障自动切换--> 
<property> 
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> 
    <value>true</value> 
</property> 
<!--RM故障自动恢复 --> 
<property> 
<name>yarn.resourcemanager.recovery.enabled</name>  
    <value>true</value>  
</property> 
<!--RM状态信息存储方式，一种基于内存(MemStore)，另一种基于ZK(ZKStore)--> 
<property> 
    <name>yarn.resourcemanager.store.class</name> 
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
</property> 
<!-- 指定zk集群地址 --> 
<property> 
    <name>yarn.resourcemanager.zk-address</name> 
    <value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181</value> 
</property> 
<!--向RM调度资源地址--> 
<property> 
    <name>yarn.resourcemanager.scheduler.address.rm1</name> 
    <value>master1:8030</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.scheduler.address.rm2</name> 
    <value>master2:8030</value> 
</property> 
<!--NodeManager通过该地址交换信息--> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name> 
    <value>master1:8031</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.resource-tracker.address.rm2</name> 
    <value>master2:8031</value> 
</property> 
<!--客户端通过该地址向RM提交对应用程序操作--> 
<property> 
    <name>yarn.resourcemanager.address.rm1</name> 
    <value>master1:8032</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.address.rm2</name> 
    <value>master2:8032</value> 
</property> 
<!--管理员通过该地址向RM发送管理命令--> 
<property> 
    <name>yarn.resourcemanager.admin.address.rm1</name> 
    <value>master1:8033</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.admin.address.rm2</name> 
    <value>master2:8033</value> 
</property> 
<!--RM HTTP访问地址,查看集群信息--> 
<property> 
    <name>yarn.resourcemanager.webapp.address.rm1</name> 
    <value>master1:8088</value> 
</property> 
<property> 
    <name>yarn.resourcemanager.webapp.address.rm2</name> 
    <value>master2:8088</value> 
</property>

 

(5) slaves

localhost

192.168.71.129 slave1
192.168.71.130 slave2
192.168.71.131 slave3
192.168.71.128 master1
192.168.71.132 master2

设置配置文件：

HADOOP

export HADOOP_HOME=/home/zhouwang/hadoop
export PATH=PATH:HADOOP_HOME/bin:HADOOPHOME/sbinexportHADOOPCONFDIR=HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/Hadoop

将hadoop文件夹分发到各个节点上去：
Scp -r Hadoop zhouwang@XXX:~/Hadoop

  1. 第一次启动集群
    配置了zookeeper的节点启动zkServer.sh服务

zkServer.sh start
然后查看zookeeper状态，zkServer.sh status，显式为follower或者leader则说明启动成功

然后，数据节点启动journalnode服务，hadoop-deamen.sh start journalnode

在master1格式化namenode: Hadoop namenode -format
然后启动namenode服务： Hadoop-deamon.sh start namenode

在master2同步master1的元数据： HDFS namenode -bootstrapStandby
然后再master2上启动namenode服务： Hadoop-deamon.sh start namenode

在master上格式化ZKFC
Hdfs zkfc -formatZK

在master1和master2上执行hadoop-deamon.sh start zkfc 启动DFSZKFailoverController 服务#ZKFC用于监控NameNode active和standby节点状态

在master1上启动hadoop-deamons.sh start datanode 启动所有数据节点上的datanode服务。

在master1上执行start-yarn.xml启动yarn服务。

至此安装完成。

7．第一次停止集群
先停止hdfs：stop-dfs.sh
在停止yarn：stop-yarn.sh
再次启动或者停止就可以执行start-all.sh 和stop-all.sh了。

8．Hdfs操作命令
Hadoop dfsadmin -report #查看datanode的节点信息
Hdfs haadmin -getServiceState nn1 查看namenode的状态
hdfs haadmin -transitionToActive/transitionToStandby -forcemanual nn1 强制切换节点的active和是standby状态。

Ebaugh
关注
专栏目录
五节点的Hadoop HA集群搭建
thu16kevin的博客
05-13 577
Hadoop高可用集群搭建 1 集群规划 1.1 节点（虚拟机） 主机名 IP 操作系统 安装软件 vm1 10.211.55.11 Centos 7 JDK，Hadoop vm2 10.211.55.12 Centos 7 JDK，Hadoop vm3 10.211.55.13 Centos 7 JDK，Hadoop，Zookeeper vm4 10.211.55.14 Centos 7 JDK，Hadoop，Zookeeper vm5 10.211.55.15 Cento
hadoop HA配置与安装
qq_41214166的博客
06-18 522
在这次安装linux是的过程中出现很多错误：比如刚开始的时候建立四个虚拟机的时候，配置时把名字写成node 01中间写了空格，导致配置时名字读不完，导致全都是node，所以千万不要留空格，前面的步骤都比较简单，都是些小错误，稍微改一下就行，安装linux时也要注意一些小问题，我刚开始就是把ip设置成一样了，导致四台机子的ip都一样，配置文件完成之后也改不过来，所以这时可以打开机子的属性，自行手动改一下机子的ip还有要注意的就是在发送文件的过程中千万不要按control+c让他停下来不论代码冒出来的多少，时间
五节点HadoopHA安装教程
weixin_33898233的博客
07-06 151
五节点HadoopHA安装教程：Master1 namenode,resourcemanager,nodemanager,datanode,journalnode, DFSZKFailoverControllerMaster2 namenode,resourcemanager,nodemanager,datanode,journalnode,...
安装Hadoop HA集群
~~~的博客
05-08 436
1、Hadoop基本安装配置 该项的所有操作步骤使用专门用于集群的用户admin进行 此项只在一台主机操作，然后在下一步骤进行同步安装与配置 首先，Hadoop软件包“hadoop-2.7.3.tar.gz”，上节课传到用户家目录的“setups”目录下，然后进行解压和环境变量设置。 $mkdir ~/hadoop #创建用于存放Hadoop相关文件的目录 $cd ~/h...
Hadoop完全分布式 -- HA配置
WarmthYan
06-22 6907
以3台机器配置 hadoop HA 为例hadoop CDH版本：hadoop-2.6.0-cdh5.15.0.tar.gzzookeeper CDH版本：zookeeper-3.4.5-cdh5.15.0.tar.gz【前提工作】一、配置好3台虚拟机 hosts$ vi /etc/hosts127.0.0.1   localhost localhost.localdomain localhost...
自己总结的hadoop HA安装流程
02-28
以下是我根据自身经验总结的Hadoop HA安装流程，这个流程已经在实际工作中得到验证，可以确保稳定运行。 一、环境准备 1. 操作系统：通常选择CentOS或Ubuntu等Linux发行版，确保系统稳定可靠。 2. 软件依赖：安装...
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 7300
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
基于zookeeper的hadoop ha集群安装过程
04-16
基于ZooKeeper的Hadoop HA集群安装过程 在大数据时代，Hadoop作为大数据处理的核心技术，高可用性(HA)是企业对其进行部署和维护的必备条件。基于ZooKeeper的Hadoop HA集群可以提供高可用性和可扩展性，满足企业对大...
hadoop HA安装文档详解
01-10
### Hadoop高可用（HA）集群搭建详解 #### 一、前言 Hadoop HA（High Availability）集群是指在一个Hadoop集群中同时运行两个或多个NameNode实例，并且能够实现故障转移，确保集群的高可用性。本文档将详细介绍如何...
Hadoop HA集群的搭建（5个节点）
huicooling的博客
01-25 6178
  特别说明，做大数据需要特别好的电脑配置，处理器至少i5吧,i5-8300H，显卡尽量GTX的，GTX1050，内存得有8G吧（我的是16G） 软件准备：jdk-1.8.0_191;hadoop-2.8.5；zookeeper-3.4.12,软件下载可以就不说了，直接去官网下载即可 系统准备：Centos7 64位 一、集群规划： 主机名               IP       ...
五节点各种潮流计算程序
10-16
牛顿拉夫逊。高斯赛德尔等多种潮流计算方法cthd39cthd39
二机五节点的潮流程序
12-29
潮流计算的牛顿法程序，大家可以下载来学习一下，里面有牛顿法的潮流程序
Hadoop2.7.6搭建HA高可用集群（图文详解）
最新发布
qq_51528941的博客
03-23 804
Hadoop 2.7.6 HA高可用集群搭建
Hadoop双namenode配置搭建（HA）
热门推荐
Trigl的博客
02-14 1万+
配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。 配置Hadoop文件 需要修
三台PC服务器部署Hadoop HA（Hadoop 高可用性架构）
mojolang
11-15 3650
写在前边的话：         转载请注明出处：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写         之前是在自己电脑上部署的Hadoop集群，但并未涉及到HA配置，这次将集群迁移到PC服务器，但是问题来了，只有三台，但是我还想配置HA，PC服务器是CentOS6.5，原来想着在上边部署VM，从而部署HA集群，但经测试，未果，遂弃之
hadoop namenode HA 高可用概念及配置说明
helloWorldAndYou的博客
09-13 6010
可以看到之前配置的完全分布式中只有一个nn节点，不能高可用。 在1x版本中存在这些问题： hdfs：nn单点故障，压力过大，内存受限，扩展受阻。 MapReduce（MR）:jboTracker访问压力大，扩展受阻；难以支持MR以外的计算框架，如spark,storm等。 1.HA 高可用 hdfs ha ：主备切换方式解决单点故障 hdfs Federation联邦：解决鸭梨过大...
hadoop namenode格式化问题汇总
恒
05-16 6038
hadoop namenode格式化问题汇总（持续更新）0 Hadoop集群环境3台rhel6.4，2个namenode+2个zkfc, 3个journalnode+zookeeper-server 组成一个最简单的HA集群方案。1) hdfs-site.xml配置如下： <!-- Quorum Journal Manager HA: http://archive.cloudera.com/
5节点Hadoop,Hive,HBase HA 集群搭建
qzqanzc的博客
05-10 414
节点规划 host 节点进程 node1 namenode,datanode,HRegionServer,NodeManager,DFSZKFailoverController node2 secondarynamenode,datanode,zookeeper,NodeManager,JournalNode,ResourceManager node3 namenode,d...
Zookeeper引导的Hadoop HA集群详尽安装教程
本文将详细介绍如何基于Zookeeper实现Hadoop High Availability (HA) 集群的安装过程，确保在大规模分布式环境中提供高可用性和容错性。以下是整个安装步骤的详细指南： 1. **安装环境介绍**： - 文章首先介绍了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值