HadoopHA(2.6.5)搭建

已于 2022-07-16 19:34:53 修改
阅读量1.3k 收藏
点赞数
分类专栏： Centos7 文章标签： 大数据 运维 centos hadoop
于 2022-07-16 18:01:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sndayYU/article/details/125823062
版权

说明

目标

ipzknamenodezkfcjournalnodedatanode
192.168.10.128(node1)yyyy-
192.168.10.129(node2)yyyy-
192.168.10.130(node3)y--yy
192.168.10.130(node3)y--yy
192.168.10.130(node3)y--yy

说明：
1.journalnode轻量级，故5台都装，也可以只装后3台，node1、node2不装
2.ha用户

安装包
zookeeper-3.4.14.tar.gz
hadoop-2.6.5.tar.gz

上传到五台服务器
/home/

其他

  • jdk要配置好

部署

用户及服务器名称

/etc/hosts加入下面

192.168.10.128 node1
192.168.10.129 node2
192.168.10.130 node3
192.168.10.131 node4
192.168.10.132 node5

// 用户
useradd ha
su ha

// 解压文件到ha
tar zxf zookeeper-3.4.14.tar.gz -C /home/ha/
tar zxf hadoop-2.6.5.tar.gz -C /home/ha/

zookeeper安装

// ha用户就可以了
mkdir /home/ha/zookeeper-3.4.14/{logs,data}
touch /home/ha/zookeeper-3.4.14/data/myid

cat <<EOF > /home/ha/zookeeper-3.4.14/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/ha/zookeeper-3.4.14/data
dataLogDir=/home/ha/zookeeper-3.4.14/logs
clientPort=2181
autopurge.snapRetainCount=500
autopurge.purgeInterval=24
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
server.4=node4:2888:3888
server.5=node5:2888:3888
EOF

// 依次往5台服务器的myid输入1、2、3、4、5，下面以128服务器为例
cat <<EOF > /home/ha/zookeeper-3.4.14/data/myid
1
EOF

启动

cd /home/ha/zookeeper-3.4.14/bin
/home/ha/zookeeper-3.4.14/bin/zkServer.sh start

验证
/home/ha/zookeeper-3.4.14/bin/zkServer.sh status
/home/ha/zookeeper-3.4.14/bin/zkServer.sh stop

hadoopHA部署

修改配置

1）新建相关目录
mkdir -p /home/ha/hadoop-2.6.5/{logs,tmp,name,data,journal}
2）core-site.xml

cat <<EOF > /home/ha/hadoop-2.6.5/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	 <property>
		 <name>fs.defaultFS</name>
		 <value>hdfs://hadoopha</value>
	 </property>
	 <property>
		 <name>hadoop.tmp.dir</name>
		 <value>file:/home/ha/hadoop-2.6.5/tmp</value>
	 </property>
	 <property>
		 <name>ha.zookeeper.quorum</name>
		 <value>node1:2181,node2:2181,node3:2181,node4:2181,node5:2181</value>
	 </property>
	 <property>
		 <name>ha.zookeeper.session-timeout.ms</name>
		 <value>30000</value>
	 </property>
</configuration>
EOF

3）hdfs-site.xml

cat <<EOF > /home/ha/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/home/ha/hadoop-2.6.5/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/home/ha/hadoop-2.6.5/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	<!--<value>3</value>-->
	</property>
	<!--HA -->
	<property>
		<name>dfs.nameservices</name>
		<value>hadoopha</value>
	</property>
	<property>
		<name>dfs.ha.namenodes.hadoopha</name>
		<value>nn1,nn2</value>
	</property>
	<!--namenode1 RPC -->
	<property>
		<name>dfs.namenode.rpc-address.hadoopha.nn1</name>
		<value>node1:9000</value>
	</property>
	<!--namenode1 HTTP -->
	<property>
		<name>dfs.namenode.http-address.hadoopha.nn1</name>
		<value>node1:50070</value>
	</property>
	<!--namenode2 RPC -->
	<property>
		<name>dfs.namenode.rpc-address.hadoopha.nn2</name>
		<value>node2:9000</value>
	</property>
	<!--namenode2 HTTP -->
	<property>
		<name>dfs.namenode.http-address.hadoopha.nn2</name>
		<value>node2:50070</value>
	</property>
	<!--HA -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- journalnode -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://node1:8485;node2:8485;node3:8485;node4:8485;node5:8485/hadoopha</value>
	</property>
	<property>
		<name>dfs.client.failover.proxy.provider.hadoopha</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--failoverStandbyActiveNameNode fencesshfencesshfuserActiveNameNode-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>shell(/bin/true)</value>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
	<!--Journal Node -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/ha/hadoop-2.6.5/journal</value>
	</property>
</configuration>
EOF

4）slaves

cat <<EOF > /home/ha/hadoop-2.6.5/etc/hadoop/slaves
node3
node4
node5
EOF

5）依次验证3个文件，很重要！！！
cat /home/ha/hadoop-2.6.5/etc/hadoop/core-site.xml
cat /home/ha/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
cat /home/ha/hadoop-2.6.5/etc/hadoop/slaves

初始化

// 1.防火墙要关闭，不启用
systemctl status firewalld
// 2.----------5台: 切换用户、启动zookeeper、journalnode------------------主要是让zookeeper.out放到这里
su app
cd /home/ha/zookeeper-3.4.14/bin/
/home/ha/zookeeper-3.4.14/bin/zkServer.sh start
cd /home/ha/hadoop-2.6.5/
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start journalnode

/home/ha/zookeeper-3.4.14/bin/zkServer.sh status

// 3.----------node1：
cd /home/ha/hadoop-2.6.5
./bin/hdfs namenode -format
./bin/hdfs zkfc -formatZK
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode

// 4.----------node2:
cd /home/ha/hadoop-2.6.5
./bin/hdfs namenode -bootstrapStandby
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode

// 5.检查http://192.168.10.129:50070/、http://192.168.10.128:50070/都是standby状态

// 6.node1和node2启动zkfc，哪个先启动，哪个就是active
cd /home/ha/hadoop-2.6.5/
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start zkfc

// 7.node3-5 3台启动datanode就完成了
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start datanode

// 8.50070上看到datanode正常注册了，再随便一台机器验证
hadoop fs -mkdir /test-data1
hadoop fs -put ./word.txt /test-data1
在master的50070界面可以搜索到上面文件了

将namenode active的那台机器reboot，验证active可以切换到另一台就ok了

su ha
cd /home/ha/zookeeper-3.4.14/bin/
/home/ha/zookeeper-3.4.14/bin/zkServer.sh start
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start journalnode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start zkfc
jps

到这里就安装完成了!!!

注意

关闭

/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop namenode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop datanode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop journalnode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop zkfc
/home/ha/zookeeper-3.4.14/bin/zkServer.sh stop

启动

// 1.all
cd /home/ha/zookeeper-3.4.14/bin/
/home/ha/zookeeper-3.4.14/bin/zkServer.sh start
/home/ha/zookeeper-3.4.14/bin/zkServer.sh status

// 2.node1及node2：
cd /home/ha/hadoop-2.6.5
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode

// 3.node3、node4、node5
cd /home/ha/hadoop-2.6.5/
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start datanode

// 4.all
cd /home/ha/hadoop-2.6.5
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start journalnode

// 5.node1及node2
cd /home/ha/hadoop-2.6.5
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh start zkfc

删除

若hadoop的初始化不能一次性完成，删除相关文件后，再进行

/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop namenode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop datanode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop journalnode
/home/ha/hadoop-2.6.5/sbin/hadoop-daemon.sh stop zkfc
/home/ha/zookeeper-3.4.14/bin/zkServer.sh stop


rm -rf /home/ha/zookeeper-3.4.14/data/version-2
rm -rf /home/ha/zookeeper-3.4.14/logs/*
rm -rf /home/ha/hadoop-2.6.5/data/*
rm -rf /home/ha/hadoop-2.6.5/name/*
rm -rf /home/ha/hadoop-2.6.5/journal/*
rm -rf /home/ha/hadoop-2.6.5/logs/*
rm -rf /home/ha/hadoop-2.6.5/tmp/*
rm -rf /home/ha/zookeeper.out

其他

1.hadoop可以注册环境遍历；
2.hadoop开启免密后，start-dfs.sh直接启动，关闭类似；
3.可以制作自启动脚本；

Wesson96
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop2.6.5配置
lgz450181的专栏
03-02 5188
我的配置参考了"我是菜鸟要早起"的博客，他的链接:http://blog.csdn.net/licongcong_0224/article/details/12972889 使用VMare建3个虚拟机（使用CentOS7系统），三个虚拟机IP为： 192.168.100.130、192.168.100.131、192.168.100.134      192.168.100.130作
基于hadoop2.6.5搭建5个节点的分布式集群—（一）基础环境配置
snowfoxmonitor的专栏
11-06 177
使用hadoop2.6.5版本配置Hadoop集群，配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。 一、主机规划 hadoop001 192.168.159.129 hadoop002 192.168.159.130 hadoop003 192..168.159.131 hadoop004 192..168.1...
http://hadoop.apache.org/docs/r2.6.5/
大JAVA解决方案
03-11 543
http://hadoop.apache.org/docs/r2.6.5/Apache &gt; Hadoop &gt; Apache Hadoop Project Dist POM &gt; Apache Hadoop 2.6.5Wiki | SVN | Apache Hadoop  | Last Published: 2016-10-02  | Version: 2.6.5GeneralOve...
hadoop-2.6.5_64.rar
05-07
本资源通过在hadoop的官网上下载32的源码资源，在linux上编译完成的，可解决很多32位与64位不兼容的问题，亦解决winutils.exe的问题
hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件
07-02
参照https://blog.csdn.net/hliq5399/article/details/78193113搭建 hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件 可用于检查 或直接复制粘贴拿来用，需要注意的是，环境变量需要检查和配置。
hadoop-2.6.5.tar.gz
09-15
Hadoop 2.6.5是Hadoop发展过程中的一个重要版本，它包含了对稳定性、性能和安全性的诸多改进。这个版本的发布主要是为了满足大规模数据处理和分析的需求。 在Linux环境下安装Hadoop 2.6.5，首先需要准备的是下载的...
hadoop-2.6.5-src
10-27
Hadoop 2.6.5是Hadoop发展过程中的一个重要版本，这个版本在稳定性、性能和功能上都有所提升。本篇文章将深入探讨Hadoop 2.6.5的源码，解析其关键组件和工作原理。 1. **Hadoop架构概述** Hadoop主要由两个关键...
hadoop-2.6.5-winutils.rar
11-28
使用Hadoop-2.6.5-winutils在Windows上搭建Hadoop环境需要进行以下步骤： 1. 解压文件到一个合适的目录，并将该目录添加到系统的PATH环境变量中，确保所有脚本都能被找到。 2. 配置Hadoop的环境变量，如HADOOP_...
hadoop-2.6.5 bin目录 for win10 64位
04-06
在Windows下面使用Hadoop Java API进行开发的时候需要编译Windows版本的Hadoop/bin，这个资源是Windows10 64位系统下编译的hadoop 2.7.3的bin目录。下载Hadoop-2.6.5.tar.gz后解压然后替换bin。
hadoop2.6.5中winutils+hadoop
05-02
windows系统开发hadoop包需要的winutils.exe和hadoop.dll文件
hadoop-2.6.5:编译好的hadoop2.6.5，主要用于研究HDFS2
03-23
hadoop-2.6.5:编译好的hadoop2.6.5，主要用于研究HDFS2源码
hadoop2.6.5-win7x64
09-02
编译环境：win7x64专业版，jdk1.7，hadoop-2.6.5；可作为win7下开发hadoop用
hadoop-2.6.5.7z
07-08
由Apache Lucene创始人Doug Cutting创建的，Lucene是一个应用广泛的文本搜索系统库。Hadoop起源于开源的网络搜索引擎Apache Nutch，它诞生之初是作为Luncene项目的一个重要核心组成部分。内容：Hadoop2.6.5源代码。
Hadoop2.6.5单机安装
lijunjie818的博客
08-03 1291
    一，安装环境  硬件：虚拟机  操作系统：Centos-7 64位  主机名：linux01  安装用户：root 二，安装JDK  安装JDK1.6或者以上版本。这里安装jdk1.8.0。  下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html  1，下载jdk-8u181-linux-x64...
hadoop2.6.5 ha搭建
huihui520com的博客
12-25 907
用到命令： tar -zxvf hadoop-2.6.5.tar.gz //解压 ln -sf /root/soft/hadoop-2.6.5 /home/hadoop-2.6 //软连接 1.集群设计 1.修改hadoop-env.sh 2.在hdfs-size.xml中配置 集群ID dfs.nameservices huishen namenodeID dfs.ha.namenodes.huishen nn1,nn2 rpc协议配置(基于二进制的网络传输协议，hadoop各个节点之
hadoop 2.x-HDFS HA --Part I: abstraction
莱布尼兹
11-12 144
  below are the outlines of this article ,using by hadoop-2.5.1 : 1.abstraction 1.1 what is HDFS HA 1.2 how to 1.3 other HAs 2.installation 2.1 manual failover 2.2 auto failover 3.conc...
hadoop2.6.5完全分布式搭建
会飞的猪的 博客
01-09 484
集群分布部署 Jdk安装（四台机器都需要安装JDK） [root@node01 ~]# rpm -i jdk-7u67-linux-x64.rpm [root@node02 ~]# rpm -i jdk-7u67-linux-x64.rpm [root@node03 ~]# rpm -i jdk-7u67-linux-x64.rpm [root@node04 ~]# rpm -i ...
hadoop2.6.5配置HDFS并运行
aizhenshi的博客
05-31 3015
1.先来看一下定义的节点功能2.设置namenode登录datanode的免密登录在namenode执行:$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys3.在所有的datanode节点都执行：$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_
hadoop2.6.5伪分布式搭建
10-12
在搭建hadoop2.6.5伪分布式环境之前，我们需要先在Linux系统上安装ssh、ant和subversion等必要的软件。首先，我们可以通过执行以下命令来安装subversion、ant和openssh-server： ```shell yum -y install ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值