Hadoop2X HA环境部署

已于 2022-04-22 13:34:20 修改
阅读量1.5k 收藏 4
点赞数 2
分类专栏： hadoop 安装部署大杂烩 文章标签： hadoop 大数据 java
于 2022-04-16 15:07:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_55906442/article/details/124212338
版权

目录

一、前期准备

1.1安装了jdk

1.2安装了zookeeper分布式

1.3配置免密码登录

1.4机器准备

二、安装部署

2.1上传

2.2解压

2.3配置环境变量（每一台都要）

2.4修改hadoo-env.sh

2.5修改core-site.xml

2.6修改hdfs-site.xml

2.7修改mapred-site.xml

2.8修改yarn-site.xml

2.9修改slaves

2.10拷贝到其他节点

三、验证

3.1启动zookeeper集群（每一台都要）

3.2启动

3.3jps查看进程

3.4浏览器验证

一、前期准备

1.1安装了jdk

没有的可以参考：

Linux系统CentOS7安装jdk_一个人的牛牛的博客-CSDN博客

1.2安装了zookeeper分布式

没有的可以参考：

​​​​​​zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-CSDN博客

1.3配置免密码登录

没有的可以参考：

Linux配置免密登录单机和全分布_一个人的牛牛的博客-CSDN博客

1.4机器准备

主节点从节点
hadoop01hadoop02
hadoop02hadoop03

 笔记本性能不够，没有安装多的虚拟机，hadoop02重复使用。

二、安装部署

2.1上传

MobaXterm_Portable的简单使用_一个人的牛牛的博客-CSDN博客_mobaxterm portable和installer区别

2.2解压

进入安装包目录，执行：

tar -zvxf hadoop-2.7.3.tar.gz /training/

2.3配置环境变量（每一台都要）

vi ~/.bash_profile

#hadoop
export HADOOP_HOME=/training/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 环境变量生效

source ~/.bash_profile

2.4修改hadoo-env.sh

进入hadoop目录的etc/hadoop目录，如：/training/hadoop-2.7.3/etc/hadoop,执行：

vi hadoo-env.sh

添加内容：

export JAVA_HOME=/training/jdk1.8.0_171

2.5修改core-site.xml

进入hadoop目录的etc/hadoop目录，如：/training/hadoop-2.7.3/etc/hadoop,执行：

vi core-site.xml

添加内容：

<configuration>

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://HAhadoop01</value>
 </property>
 <property>
     <name>hadoop.tmp.dir</name>
     <value>/training/hadoop-2.7.3/tmp</value>
 </property>
<property>
     <name>ha.zookeeper.quorum</name>
     <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>

</configuration>

2.6修改hdfs-site.xml

进入hadoop目录的etc/hadoop目录，如：/training/hadoop-2.7.3/etc/hadoop,执行：

vi hdfs-site.xml

添加内容：

<configuration>
    <!--指定hdfs的nameservice为HAhadoop01，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>HAhadoop01</value>
    </property>

    <!-- HAhadoop01下面有两个NameNode，分别是HAhadoop02，HAhadoop03 -->
    <property>
        <name>dfs.ha.namenodes.HAhadoop01</name>
        <value>HAhadoop02,HAhadoop03</value>
    </property>

    <!-- HAhadoop02的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.HAhadoop01.HAhadoop02</name>
        <value>hadoop01:9000</value>
    </property>
    <!-- HAhadoop02的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.HAhadoop01.HAhadoop02</name>
        <value>hadoop01:50070</value>
    </property>

    <!-- HAhadoop03的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.HAhadoop01.HAhadoop03</name>
        <value>hadoop02:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.HAhadoop01.HAhadoop03</name>
        <value>hadoop02:50070</value>
    </property>

    <!-- 指定NameNode的日志在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop01:8485;hadoop02:8485;/HAhadoop01</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/training/hadoop-2.7.3/journal</value>
    </property>

    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled.HAhadoop01</name>
        <value>true</value>
    </property>

    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.HAhadoop01</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>


    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>

    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/training/hadoop-2.7.3/data</value>
    </property>
    <property>
        <name>dfs.datanode.name.dir</name>
        <value>/training/hadoop-2.7.3/name</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

进入hadoop目录的etc/hadoop目录，如：/training/hadoop-2.7.3/etc/hadoop,创建journal和tmp

mkdir tmp

mkdir data

mkdir name

mkdir journal

2.7修改mapred-site.xml

进入hadoop目录的etc/hadoop目录，如：/training/hadoop-2.7.3/etc/hadoop,执行：

vi mapred-site.xml

添加内容：

<configuration>

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

</configuration>

2.8修改yarn-site.xml

进入hadoop目录的etc/hadoop目录，如：/training/hadoop-2.7.3/etc/hadoop,执行：

vi yarn-site.xml

添加内容：

<configuration>
   <!-- 开启RM高可靠 -->
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
    </property>

    <!-- 指定RM的cluster id -->
    <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>yarn</value>
    </property>

    <!-- 指定RM的名字 -->
    <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
    </property>

    <!-- 分别指定RM的地址 -->
    <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>hadoop01</value>
    </property>
    <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>hadoop02</value>
    </property>

    <!-- 指定zk集群地址 -->
    <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
    </property>

    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
</configuration>

2.9修改slaves

进入hadoop目录的etc/hadoop目录，如：/training/hadoop-2.7.3/etc/hadoop,执行：

vi slaves

添加内容：

hadoop02
hadoop03

2.10修改：yarn-env.sh

 添加

export JAVA_HOME=/training/jdk1.8.0_171

2.11拷贝到其他节点

scp -r hadoop-2.7.3/ root@hadoop02:/training/
scp -r hadoop-2.7.3/ root@hadoop03:/training/

三、验证

3.1启动zookeeper集群（每一台都要）

进入zookeeper的bin目录下执行：

zkServer.sh start

jps查看

jps、kafka、zookeeper群起脚本和rsync文件分发脚本（超详细）_一个人的牛牛的博客-CSDN博客

3.2启动

#在所有节点启动journalnode（一次，不可多次执行）
hadoop-daemon.sh start journalnode


#格式化HDFS（在hadoop01上执行）（一次，不可多次执行）
hdfs namenode -format

#将hadoop-2.7.3/name拷贝到hadoop02的/root/training/hadoop-2.7.3/name下
scp -r /training/hadoop-2.7.3/tmp/ root@hadoop02:/training/hadoop-2.7.3/

#格式化zookeeper（一次，不可多次执行）
hdfs zkfc -formatZK
会有日志Successfully created /hadoop-ha/HAhadoop01 in ZK.

#在所有节点停止journalnode（一次，不可多次执行）
hadoop-daemon.sh stop journalnode


#hadoop01和hadoop02上启动zkfc
hadoop-daemon.sh start zkfc

#在hadoop01上启动Hadoop集群
start-all.sh

#在hadoop02上启动ResourceManager
yarn-daemon.sh start resourcemanager

3.3jps查看进程

3.4浏览器验证

浏览器输入：hadoop01:50070

没有做ip地址映射的输入ip+50070如：192.168.12.134:50070

8088端口 

参考于：

 若兰幽竹的博客_CSDN博客-Kettle,Spark,Hadoop领域博主

https://blog.csdn.net/it_technologier/category_11482225.html?spm=1001.2014.3001.5482

一个人的牛牛
关注
专栏目录
Hadoop HA（高可用）部署
weixin_52626164的博客
08-10 2131
注：安装Hadoop HA（即HDFS和YARN高可用），首先要完成zookeeper的配置，然后再配置hdfs 和yarn 的高可用。
hadoop——HA集群部署
m0_65809235的博客
06-28 1257
各节点布置NameNodeDataNodeNameNodeDataNode。
Hadoop HA部署
Gru的博客
04-09 305
Hadoop HA部署创建用户配置hosts文件配置三台机器SSH互相信任关系部署JDK 本人使用三台阿里云主机进行学习，分别用hadoop001，hadoop002，hadoop003表示 创建用户 首先在生产上，一般每一个组件会由不同的用户来部署，所以一上来首先是在三台机器上都创建hadoop用户： useradd hadoop 配置hosts文件 需要在三台机器上都配置机器名和ip的映射关系...
Hadoop HA部署流程
最新发布
2401_82567159的博客
07-31 411
​ 本节点主要介绍安装Hadoop HA模式的主要步骤。​ 在安装Hadoop HA模式，我们需要完成一些准备工作，包括网络配置、关闭防火墙、安装SSH和安装JDK环境、Zookeeper组件安装等。
Hadoop HA 部署
记录点点滴滴
03-10 1163
Hadoop HA 部署Hadoop 规划集群HA 集群部署HA 集群准备创建文件(所有节点)HDFS-HA 配置配置 core-site.xml配置 hdfs-site.xmlYARN-HA 配置配置 yarn-site.xml分发运行 HA配置环境变量保证 ZooKeeper 启动格式化 namenode初始化 HA 在 Zookeeper 中状态启动 HA 服务脚本测试 HA Hadoop 规划集群 cpu101 cpu102 cpu103 HDFS NameNode NameNod
hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2594
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
全网最详细的小白Hadoop2.0 HA环境搭建完整版
weixin_43813099的博客
09-09 821
我不要在失败孤独中死去，也不要一直活在地下里 Hadoop 2.0 HA搭建 （根据官方文档简单理解） 官方文档地址：点我，懒得看文档的就看我粗糙的见解，写的不好不要砍我，哈哈哈 一、Hadoop HA（高可用的简单介绍） 1.为什么需要搭建HA？ 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个集群只有一个NameNode，如果该计算机或进程不可用，则整个在整个NameNode重新启动或在另一台计算机上启动之前将不可用。 这从两个主要方面影响了HDFS群集的总可
hadoop 2.x 版本概要讲解，HA搭建指南
06-24
在安装部署 Hadoop 2.x 版本之前，首先需要确保服务器环境满足一定的硬件和软件要求。例如，操作系统应为 Linux，并且已安装好 JDK（Java Development Kit）。此外，还需要设置好主机名解析、SSH 免密码登录等基本...
Hadoop高可用HA搭建
Daw3on的博客
12-21 233
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts ######注意######如果你们公司是租用的服务器或是使用的
Hadoop的HA模式部署
Ernest
03-31 1380
正式引入 HA 机制是从 Hadoop2.0 开始，之前的版本中没有HA机制。实现高可用最关键的是消除单点故障，Hadoop-ha 严格来说应该分成各个组件的HA机制——HDFS 的 HA、YARN 的 HA。
hadoop HA部署（NFS方案）
m0_67393342的博客
08-16 353
在NFS 服务器启动后，还需要检查Linux 服务器的防火墙等设置（一般需要关闭防火墙服务），确保没有屏蔽掉NFS 使用的端口和允许通信的主机，主要是检查Linux 服务器iptables，ipchains 等选项的设置，以及/etc/hosts.deny，/etc/hosts.allow 文件。# ls /mnt 　　命令将Linux 服务器的NFS 输出共享目录挂载到/mnt 目录下，因此，如果NFS 正常工作，应该能够在/mnt 目录看到/home/work 共享目录中的内容。...
HadoopHA部署(1+x)
qq_53488289的博客
12-11 4435
打开已创建好的centOS虚拟机 配置网络 1.vi 打开网络配置文件 2.修改配置文件 3.重启网络 测试网络（内网、外网都要测试） 修改主机名和映射 1.主机名 2.映射（因为考试时要求是三台虚拟机，映射都要写，另外两台虚拟机的IP在克隆完master1-1时要修改） 关机并克隆 如上图操作在克隆一台虚拟机slave1-2 启动三台机器，并为克隆的两台机器修改相应名称和IP，以及检...
Hadoop HA部署文档
gszhihan的博客
08-24 294
文章目录一、 软件版本二、 集群规划三、 目录规划四、 环境准备五、 安装Zookeeper六、 安装Hadoop（NameNode HA 和 ResourceManager HA）七、 初次启动集群八、 关闭集群九、 再次启动集群 一、 软件版本 组件名 版本 下载地址 备注 CentOS CentOS Linux release 7.2.1511 (Core) 查看版本号 c...
Hadoop集群部署（HA）
小七的编程日志
08-10 508
三台CentOS7的机器分别为cdh50-121，cdh50-122，cdh50-127，用户名都是hdfs，并且设置免密互信 一、安装前准备 下载地址https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/，下载hadoop-3.1.3.tar.gz 为方便操作，zookeeper安装在用户目录下（/home/hdfs）后续操作都以hdfs用户操作 压缩包放置到用户目录，并且解压压缩包，解压后文件夹名修改为hadoopcd ~ tar z.
Hadoop分布式HA安装部署
weixin_50198333的博客
08-20 293
集群规划 ip 基本的软件 运行的进程 test01 jdk、zk、hadoop NameNode、zkfc、zk、journalNode test02 jdk、zk、hadoop NameNode、zkfc、zk、journalNode、datanode、ResourceManager、NodeManager test03 jdk、zk、hadoop zk、journalNode、datanode、ResourceManager、NodeMan
Hadoop HA集群部署
06-21
Hadoop High Availability (HA) 集群部署是指在一个集群中设置冗余，以确保即使在某个节点故障的情况下，数据处理和任务执行也能继续进行，提高系统的可靠性和可用性。下面是Hadoop HA集群部署的基本步骤： 1. **配置Hadoop集群**: 安装Hadoop并配置多个名称节点（NameNode）和任务跟踪器（JobTracker）。在Hadoop 2.x及以上版本，NameNode被替换为两个实例：Active NameNode（处理写入请求）和Standby NameNode（备份数据）。 2. **启用HA**: 在Hadoop配置文件（如core-site.xml和hdfs-site.xml）中启用HA模式。设置`ha.zookeeper.quorum`用于ZooKeeper服务的连接，这是协调NameNode状态的关键组件。 3. **安装ZooKeeper**: ZooKeeper作为元数据存储和命名服务，管理NameNode的状态。每个NameNode会连接到ZooKeeper，以同步集群状态。 4. **配置HA组件**: 创建并配置Hadoop的资源管理器（ResourceManager）和DataNode，它们将与新的High Availability架构协同工作。 5. **配置Fencing**: Fencing机制确保在主节点故障时，不发生冲突的切换。这可能涉及到网络或硬件级别的措施。 6. **启动Standby NameNode**: 启动Standby NameNode并让其监听，等待接替Active NameNode的角色。 7. **监控与自动故障切换**: 使用Hadoop的管理工具如JMX或Web UI监控集群状态，并配置自动故障切换，当主节点失效时，Standby会自动接管。 8. **测试**: 最后，进行充分的负载测试和故障恢复演练，确保HA集群能够在实际环境中正常运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值