Hadoop HA 分布式安装

最新推荐文章于 2023-03-24 23:30:40 发布
最新推荐文章于 2023-03-24 23:30:40 发布
阅读量257 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： Hadoop HA Hadoop集群 Hadoop Zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ly_5683/article/details/103811814
版权

假设以三台服务器来安装Hadoop

IPhostname
192.168.0.102

hadoop102

192.168.0.103hadoop103
192.168.0.104

hadoop104

 

 

 

 

 

组件版本

组件版本
Java1.8
zookeeper3.4.14
hadoop3.1.3

 

 

 

 

 

一、环境准备

1.三台同时配置hosts文件

vim /etc/hosts

#添加如下文字
192.168.0.102 hadoop102
192.168.0.103 hadoop103
192.168.0.104 hadoop104

2.三台同时安装jdk， 确认版本号相同,否则每台server都需要手动调整java_home的路径

#安装 jdk
yum install -y java-1.8.0-openjdk-devel.x86_64

3.三台同时创建hadoop用户，设定相同的密码（123456）

adduser hadoop

passwd hadoop

4.三台同时创建文件夹并授权给hadoop账户

mkdir /opt/module

mkdir /opt/software

mkdir -p /opt/data/journalnode

mkdir -p /opt/data/journaldata

mkdir -p /opt/data/zookeeper


chown -R hadoop:hadoop /opt/module

chown -R hadoop:hadoop /opt/data

chown -R hadoop:hadoop /opt/software

5.三个台都要配置hadoop用户的JAVA_HOME

vim /etc/profile

#更新原始的path设定

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-1.el7_7.x86_64/

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#使配置文件生效

source /etc/profile

6.在hadoop102，交换免密登录的密钥，保证hadoop102与另外的节点互通

su hadoop

#持续回车即可，最终会产生ssh的key在home下

ssh-keygen -t rsa

#交换密钥

ssh-copy-id hadoop102 #注意：本机也需要执行

ssh-copy-id hadoop103

ssh-copy-id hadoop104

#测试密钥是否交换成功，直接输出即代表成功，如 Thu Jan 2 21:58:40 EST 2020

ssh hadoop102 date

ssh hadoop103 date

ssh hadoop104 date

 环境准备到此结束。

二、安装Zookeeper

1.在hadoop102，下载压缩包

cd /opt/software

wget https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

tar -xvf zookeeper-3.4.14.tar.gz -C /opt/module

2.复制样例配置文件zoo_sample.cfg为zoo.cfg

cp /opt/module/zookeeper-3.4.14/conf/zoo_sample.cfg  /opt/module/zookeeper-3.4.14/conf/zoo.cfg

3.修改zoo.cfg配置文件

vim /opt/module/zookeeper-3.4.14/conf/zoo.cfg

dataDir=/opt/data/zookeeper

server.1=hadoop102:2888:3888

server.2=hadoop103:2888:3888

server.3=hadoop104:2888:3888

4.在hadoop102，将配置好的zookeeper文件夹，分发到其他节点

scp -r /opt/module/zookeeper-3.4.14 hadoop@hadoop103:/opt/module/zookeeper-3.4.14
scp -r /opt/module/zookeeper-3.4.14 hadoop@hadoop104:/opt/module/zookeeper-3.4.14

5.三台服务器， 每台创建不一样的server id标识

touch /opt/data/zookeeper/myid
vim  /opt/data/zookeeper/myid
#hadoop102输入1, hadoop103输入2, hadoop104输入3

6.三台服务器同时启动zk

# 启动zookeeper
/opt/module/zookeeper-3.4.14/bin/zkServer.sh start

# 查看状态
/opt/module/zookeeper-3.4.14/bin/zkServer.sh status

Zookeeper安装完毕！

三、安装hadoop

在一台上配置完毕后，再分发给其他节点，减少配置出错的概率和工作量。

1.在hadoop102，下载压缩包

#下载hadoop

cd /opt/software

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

2.在hadoop102，给hadoop-env.sh设定java_home，hadoop_home

vim /opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

#定位到JAVA_HOME附近，添加如下内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-1.el7_7.x86_64/

export HADOOP_HOME=/opt/module/hadoop-3.1.3/

#使配置文件生效

source  /opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

3.配置core-site.xml

<configuration>
	<!-- 把两个NameNode的地址组装成一个集群mycluster -->
	<property>
	    <name>fs.defaultFS</name>
	    <value>hdfs://mycluster</value>
	</property>
	 
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
	    <name>hadoop.tmp.dir</name>
	    <value>/opt/ha/hadoop-2.7.2/data/tmp</value>
	</property>
	<!-- zookeeper集群地址 -->
	<property>
	    <name>ha.zookeeper.quorum</name>
	    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
	</property>
	<!-- JournalNode守护程序将存储其本地状态的路径 -->
	<property>
	    <name>dfs.journalnode.edits.dir</name>
	    <value>/apps/journaldata</value>
	</property>
</configuration>

4.配置hdfs-site.xml

<configuration>
	<!-- 数据的副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!-- 此新名称服务的逻辑名称 -->
    <property>
	    <name>dfs.nameservices</name>
	    <value>mycluster</value>
    </property>
    <!-- 命名空间中namenodes的id -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <!-- 每个NameNode监听的标准RPC地址 -->
    <property>
	    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
	    <value>hadoop102:9000</value>
    </property>
    <property>
	    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
	    <value>hadoop104:9000</value>
    </property>
    <!-- 每个NameNode监听的标准HTTP地址 -->
    <property>
	    <name>dfs.namenode.http-address.mycluster.nn1</name>
	    <value>hadoop102:50070</value>
    </property>
    <property>
	    <name>dfs.namenode.http-address.mycluster.nn2</name>
	    <value>hadoop104:50070</value>
    </property>
    <!-- 共享存储目录的位置 -->
    <property> 
	    <name> dfs.namenode.shared.edits.dir </name> 
	    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster </value> 
    </property>
    <!-- HDFS客户端用于连接NameNode的Java类 -->
    <property>
	    <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 脚本或Java类的列表，这些列表将用于在故障转移期间隔离Active NameNode -->
    <!-- 配置ssh 免密登录 -->
    <property>
	    <name>dfs.ha.fencing.methods</name>
	    <value>sshfence</value>
    </property>
    <property>
	    <name>dfs.ha.fencing.ssh.private-key-files</name>
	    <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <!-- ssh 链接超时时间 -->
    <property>
	    <name>dfs.ha.fencing.ssh.connect-timeout</name>
	    <value>30000</value>
    </property>
    <!-- 这是JournalNode进程保持逻辑状态的路径。这里在linux服务器文件的绝对路径 -->
    <property>
	    <name>dfs.journalnode.edits.dir</name>
	    <value>/apps/journalnode</value>
    </property>
    <!-- 设置故障自动转移 -->
    <property>
	    <name>dfs.ha.automatic-failover.enabled</name>
	    <value>true</value>
    </property>
</configuration>

5.配置yarn-site.xml

<configuration>
  <!--mapreduce执行shuffle（洗牌的意思）获取数据的方式-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!-- 启用 ResourceManager 高可用 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <!-- 声明两台resourcemanager的地址 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>mycluster</value>
  </property>
  <!--  RM的逻辑ID列表 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <!--  对于每个rm-id，指定RM对应的主机名 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop102</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop103</value>
  </property>
  <!-- 对于每个rm-id，请指定RM https Web应用程序对应的host：port -->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop102:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop103:8088</value>
  </property>
  <!--启用自动恢复--> 
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
  <!-- zookeeper 集群地址 -->
  <property>
    <name>hadoop.zk.address</name>
    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
  </property>
  <!-- 日志聚集功能使能 -->
  <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
  </property>

  <!-- 日志保留时间设置7天 -->
  <property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
  </property>

</configuration>

6.配置mapred-site.xml

<configuration>
    <!-- 执行框架设置为Hadoop YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop104:10020</value>
    </property>
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop104:19888</value>
    </property>
</configuration>

7.在hadoop102，修改workers文件

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

hadoop102
hadoop103
hadoop104

8.在hadoop102，将配置好的hadoop文件夹，分发到其他节点

cd /opt/module/hadoop-3.1.3

#拷贝
scp -r /opt/module/hadoop-3.1.3 hadoop@hadoop103:/opt/module/hadoop-3.1.3
scp -r /opt/module/hadoop-3.1.3 hadoop@hadoop104:/opt/module/hadoop-3.1.3

9.格式化hdfs，先启动zookeeper

分别在hadoop102、hadoop103、hadoop104上启动journalnode

/opt/module/hadoop-3.1.3/bin/hdfs --daemon start journalnode

运行jps检查journalnode进程

10.在hadoop102节点，格式化hdfs

/opt/module/hadoop-3.1.3/bin/hdfs namenode -format

11.在hadoop102节点启动namenode

/opt/module/hadoop-3.1.3/bin/hdfs --daemon start namenode

12.在hadoop104上同步hadoop102 namenode元数据

/opt/module/hadoop-3.1.3/bin/hdfs namenode -bootstrapStandby

14.在hadoop102 上关闭namenode

/opt/module/hadoop-3.1.3/bin/hdfs --daemon stop namenode

15.格式化zkfc（仅第一次启动执行）在hadoop102 上执行即可

/opt/module/hadoop-3.1.3/bin/hdfs zkfc -formatZK

16.分别在hadoop102、hadoop103、hadoop104上关闭journalnode

/opt/module/hadoop-3.1.3/bin/hdfs --daemon stop journalnode

17.启动hadoop

分别在hadoop102、hadoop103、hadoop104上启动journalnode

/opt/module/hadoop-3.1.3/bin/hdfs --daemon start journalnode

18.在hadoop102上执行start-all.sh

/opt/module/hadoop-3.1.3/sbin/start-all.sh

19.在hadoop104上启动历史服务器

/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver

#如果一切顺利，运行jps命令查看进程
jps

hadoop安装、启动完毕！下面验证一下hadoop的ha是否有效！

四、验证

1.web访问

HDFS

http://hadoop102:50070

http://hadoop104:50070

其中一个是active，一个是standby

YARN

http://hadoop102:8088

http://hadoop103:8088

在浏览的时候standby会重定向跳转到active对应的页面

2.HA的验证

namenode HA

访问

http://hadoop102:50070

http://hadoop104:50070

其中一个是active，一个是standby

主备切换验证

在hadoop102上kill -9 namenode的进程，这时候namenode会自动切换到hadoop104

YARN HA

主备切换验证

在hadoop102上kill -9 resourcemanager的进程

这时可以访问http://hadoop103:8088

然后在hadoop102上重新启动resourcemanager(yarn --daemon start resourcemanager)，再访问http://hadoop102:8088时就会自动跳转到 http://hadoop103:8088

 

 

 

 

 

 

 

い木乄子゛
关注
专栏目录
三台服务器部署Hadoop集群HA高可用
qq_41508632的博客
11-16 792
一.安装JAVA环境——JDK 二.配置hosts系统文件 [root@nna /]# vi /etc/hosts 在hosts文件中添加： 172.21.32.21 nna 172.21.32.6 nns 172.21.32.40 dn1 编辑完成后保存退出，在另外两台服务器上做相同操作。 三.安装SSH 生成该节点的私钥和公钥，将生成的公钥(id_rsa.pub)文件中的内容追加到autho...
hadoop基础【Zookeeper概述和安装】
weixin_43923463的博客
03-22 1378
一、概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度理解是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。 Zookeeper的两项核心功能：存储数据，通知机制。 hdfs已经存储了数据，那么Zookeeper不会存储...
Hadoop集群搭建：用三台云服务器搭建HA集群（过程记录和分享）
dianao3671的博客
06-28 415
该文主要记录了自己用云服务器搭建集群的过程，也分享一些自己遇到的问题和解决方法。里面可能提及一些自己的理解，可能不够准确，希望大家能够指正我，谢谢。 1.什么是HA集群 HA ：High Available 问题：对于只有一个namenode的集群，如果namenode的集群出现故障，集群将无法使用直到重新启动。 方法：开启HDFS的HA功能，通过在不同节点上设置Active/S...
2020.9.8课堂笔记(hadoop HA模式 高可用集群搭建)
超可爱慕之
09-08 266
1、集群OK 2、zookeeper OK（时区同步 OK） 3、core-site.xml namenode集群的名称 zookeeper 2181地址 4、hdfs-site.xml nameservices集群下面的各个nameservice服务对应的映射 rpc-address的地址9000 http-address的地址50070 journalnode的共享地址(各个datanode) qjournal://datanode:8485;列表/集群名 出错处理，切换方式及隔离机制的设置，。超时设
hadoop 8088页面无法打开问题
Mr.hu
10-23 1万+
查看日志 第一时间去查看了hadoop目录下面 的日志文件 vim /hadoop/logs/yarn-root-resourcemanager-hadoop-01.log 发现问题 Caused by: java.net.BindException: Problem binding to [hadoop01:8031] java.net.BindException: 无法指定被请求的...
hadoop HA分布式安装
最新发布
10-14
对于Hadoop的HA分布式安装，可以按照以下步骤进行： 1. 配置Hadoop的core-site.xml文件，设置fs.defaultFS属性为hdfs://nameservice1，其中nameservice1为Hadoop集群的逻辑名称。 2. 配置Hadoop的hdfs-site.xml文件...
搭建Hadoop HA分布式集群.pdf
04-18
搭建Hadoop HA分布式集群需要对Linux操作系统、SSH免密登录、JDK安装配置、Zookeeper集群搭建以及Hadoop配置有深入的理解。上述步骤涵盖了搭建过程中需要关注的多个关键点，而正确实施这些步骤是构建一个稳定且高...
hadoop HA高可用性完全分布式集群安装
11-05
### hadoop HA高可用性完全分布式集群安装 在大数据处理领域，Hadoop作为一个开源软件框架，主要用于分布式存储和处理大规模数据集。为了提高系统的稳定性和可靠性，Hadoop提供了高可用性（High Availability，简称...
hadoop完全分布式安装(二)
04-18
在本篇博文中，我们将深入探讨“Hadoop完全分布式安装”的第二部分，这对于任何想要构建大规模数据处理平台的IT专业人士来说都是至关重要的。Hadoop是一个开源框架，它允许在大型集群上存储和处理大量数据，尤其适合...
Hadoop2.0分布式HA环境部署
01-31
### Hadoop2.0分布式HA环境部署 #### Hadoop2.0 HA机制概览 Hadoop2.0相比Hadoop1.0，在集群稳定性与可用性方面进行了显著增强，特别是引入了High Availability (HA)机制。Hadoop1.0中仅存在单一的NameNode作为元...
hadoop yarn 历史服务器 web无法访问
weixin_45675904的博客
08-12 1672
hadoop yarn 历史服务器 web无法访问
关于hadoop访问8088端口显示只有一个节点
qq_43634028的博客
04-03 5187
启动hadoop集群后，查看了50070端口，发现三台虚拟机都是有的 之后查看8088端口发现只有一个节点运行 很明显问题出在了yarn上，首先我查看了yarn的配置文件 在这里我修改了红色部分为: yarn.resourcemanager.address Mastertjy43:8032 因为修改了配置文件所以要重修格式化，格式化之前，删除 hadoop目录下 hdfs/name 下的所有文件，以及hdfs/data下的所有文件，之后重新启动hadoop并访问8088发现问题..
Hadoop 集群搭建
yuyu的博客
03-24 2174
使用三台虚拟机，搭建一个 Hadoop 集群
hadoop常见错误及解决办法
weixin_46361294的博客
03-03 3482
防火墙 没关 或者 没有 启动 YARN INFO client.RMProxy:Connecting to ResourceManager at hadoop108/192.168.10.108:8032 主机名称 配置 错误 IP地址 配置 错误 ssh 没有 配置好 root 用户和 amelia 两个用户 启动集群 不统一 配置文件 修改 不细心 不识别 主机名称java.net.UnknownHostException:hadoop102:hadoop102 解决办法：在/etc/hosts.
hadoop 8088端口无法访问
热门推荐
u013761049的专栏
08-17 1万+
hadoop集群正常启动，日志无任何错误。而8088端口不能访问。则需要为yarn-site.xml文件添加一下属性。并重新执行start-yarn.sh。 修改配置文件---yarn-site.xml，将下列属性添加 &lt;property&gt; &lt;name&gt;yarn.resourcemanager.address&lt;/name&gt; &lt;value&gt;192.1...
Hadoop解决 java.net.BindException: Port in use: hadoop103:8088
Bonze
03-07 7920
java.net.BindException: Port in use: hadoop103:8088 at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1213) at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1235) at org.apache.had
hadoop 8088端口网页无法打开
Hello,Sparrow!
04-04 3290
需要修改/etc/hosts文件：加上本地主机的ip地址。 参考：https://blog.csdn.net/kouryoushine/article/details/78401976
Hadoop HA集群搭建(3台阿里云)
阿顾的博客
08-20 1088
文章目录一 阿里云主机（3台）1.1 选择云服务器ECS1.2 创建实例1.3 基本配置1.4 网络和安全组1.5 系统配置1.6 确认实例1.7 实例列表二 环境准备2.1 用户和目录准备2.2 软件2.3 ip与hostname绑定2.4 设置3台机器ssh免密通信2.5 jdk安装2.6 安装ZooKeeper 一 阿里云主机（3台） 注册和充值这里就不演示了，我们需要购买3台机器，然后选择...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值