Hadoop加zookeeper搭建高可靠集群

最新推荐文章于 2021-12-18 22:25:17 发布
最新推荐文章于 2021-12-18 22:25:17 发布
阅读量488 收藏
点赞数
分类专栏： hadoop 文章标签： 技术 大数据 hadoop
前期准备

1.修改Linux主机名，每台都得配置

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=Hadoop-server1

2.修改IP /etc/sysconfig/network-scripts/ifcfg-eth0

3.修改主机名和IP的映射关系

vim /etc/hosts

192.168.146.181 hadoop-server1
192.168.146.182 hadoop-server2
192.168.146.183 hadoop-server3
192.168.146.184 hadoop-server4
192.168.146.185 hadoop-server5

######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系

4.关闭防火墙 

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

前4步用root用户操作，操作完后重启机器

5.ssh免登陆hadoop用户操作

#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh


ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id hadoop-server2

6.安装JDK，配置环境变量等root用户操作

vim /etc/proflie
export JAVA_HOME=/usr/Java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


source /etc/profile


集群规划：

主机名 IP  安装软件 运行进程
hadoop-server1 192.168.146.181:jdk、hadoopnamenode resourcemanageDFSZKFailoverController(zkfc)
hadoop-server2 192.168.146.182:jdk、hadoopnamenode resourcemanageDFSZKFailoverController(zkfc)
hadoop-server3 192.168.146.183:jdk、hadoop、zookeeperdatanode nodemanagejournalnode QuorumPeerMain
hadoop-server4 192.168.146.184:jdk、hadoop、zookeeperdatanode nodemanagejournalnode QuorumPeerMain
hadoop-server5 192.168.146.185:jdk、hadoop、zookeeperdatanode nodemanagejournalnode QuorumPeerMain


安装步骤：
1.安装配置zooekeeper集群（在hadoop-server3上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/
1.2修改配置
cd /home/hadoop/app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/data
在最后添加：
server.1=hadoop-server3:2888:3888
server.2=hadoop-server4:2888:3888
server.3=hadoop-server5:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/app/zookeeper-3.4.5/data
再创建一个空文件
touch /home/hadoop/app/zookeeper-3.4.5/data/myid
最后向该文件写入ID
echo 1 > /home/hadoop/app/zookeeper-3.4.5/data/myid
1.3将配置好的zookeeper拷贝到其他节点
scp -r /home/hadoop/app/zookeeper-3.4.5/ weekend06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-3.4.5/ weekend07:/home/hadoop/app/

注意：修改hadoop-server4、hadoop-server5对应/home/hadoop/app/zookeeper-3.4.5/data/myid内容
hadoop-server4：
echo 2 > /home/hadoop/app/zookeeper-3.4.5/data/myid
hadoop-server5：
echo 3 > /home/hadoop/app/zookeeper-3.4.5/data/myid

2.安装配置hadoop集群（在hadoop-server1上操作）
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C /weekend/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/hadoop/home/app/jdk1.7.0_55
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop

2.2.1修改hadoo-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55

2.2.2修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop-server3:2181,hadoop-server3:2181,hadoop-server3:2181</value>
</property>
</configuration>

2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hadoop-server1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hadoop-server1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>weekend02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hadoop-server2:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop-server3:8485;hadoop-server4:8485;hadoop-server5:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.2.5修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>hadoop-server1</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>hadoop-server2</value>
</property>
<!-- 指定zk集群地址 -->
<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>hadoop-server3:2181,hadoop-server4:2181,hadoop-server5:2181</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
</configuration>


2.2.6修改slaves(slaves是指定子节点的位置)
hadoop-server3
hadoop-server4
hadoop-server5


2.2.7配置免密码登陆
#首先要配置hadoop-server1到hadoop-server2、hadoop-server3、hadoop-server4、hadoop-server5的免密码登陆
#在hadoop-server1上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id hadoop-server1
ssh-coyp-id hadoop-server2
ssh-coyp-id hadoop-server3
ssh-coyp-id hadoop-server4
ssh-coyp-id hadoop-server5
#注意:resourcemanager到nodemanager要配置免密登录
#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置hadoop-server2到hadoop-server1的免登陆
在hadoop-server2上生产一对钥匙
ssh-keygen -t rsa
ssh-coyp-id -i hadoop-server1

2.4将配置好的hadoop拷贝到其他节点
scp -r /home/hadoop/app/hadoop-2.4.1/ hadoop@hadoop-server2:/home/hadoop/app/
scp -r /home/hadoop/app/hadoop-2.4.1/ hadoop@hadoop-server3:/home/hadoop/app/

scp -r /home/hadoop/app/hadoop-2.4.1/ hadoop@hadoop-server4:/home/hadoop/app/
scp -r /home/hadoop/app/hadoop-2.4.1/ hadoop@hadoop-server5:/home/hadoop/app/

###注意：严格按照下面的步骤
2.5启动zookeeper集群（分别在hadoop-server3、hadoop-server4、hadoop-server5上启动zk）
cd /home/hadoop/app/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status

2.6启动journalnode（分别在在hadoop-server3、hadoop-server4、hadoop-server5上执行）
cd /home/hadoop/app/hadoop-2.4.1
sbin/hadoop-daemon.sh start journalnode
#运行jps命令检验，hadoop-server3、hadoop-server4、hadoop-server5上多了JournalNode进程

2.7格式化HDFS
#在hadoop-server1上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/hadoop/app/hadoop-2.4.1/tmp，然后将/home/hadoop/app/hadoop-2.4.1/tmp拷贝到hadoop-server2的/home/hadoop/app/hadoop-2.4.1/下。
scp -r tmp/ hadoop-server2:/home/hadoop/app/hadoop-2.4.1/
##也可以这样，在hadoop-server2上执行命令：建议hdfs namenode -bootstrapStandby

2.8格式化ZKFC(在hadoop-server1上执行即可)
hdfs zkfc -formatZK

2.9启动HDFS(在hadoop-server1上执行)
sbin/start-dfs.sh


2.10启动YARN(#####注意#####：是在hadoop-server1上执行start-yarn.sh)
sbin/start-yarn.sh

在hadoop-server2上启动 yyarn-daemon.sh start rescourcemanager



到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
http://192.168.146.181:50070
NameNode 'hadoop-server1:9000' (active)
http://192.168.146.182:50070
NameNode 'hadoop-server2:9000' (standby)

验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://192.168.146.182:50070
NameNode 'hadoop-server2:9000' (active)
这个时候hadoop-server2上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r--r--   3 root supergroup       1926 2015-06-24 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.146.181:50070
NameNode 'hadoop-server1:9000' (standby)

验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

OK，大功告成！！！





测试集群工作状态的一些指令 ：
bin/hdfs dfsadmin -report  查看hdfs的各节点状态信息




bin/hdfs haadmin -getServiceState nn1  获取一个namenode节点的HA状态


sbin/hadoop-daemon.sh start namenode  单独启动一个namenode进程




./hadoop-daemon.sh start zkfc   单独启动一个zkfc进程

xiaoL_clo
关注
专栏目录
【hadoop】zookeeper集群搭建
废物点心的博客
04-13 385
前言 Zookeeper 集群搭建指的是 ZooKeeper 分布式模式安装。通常由 2n+1台 servers 组成。这是因为为了保证 Leader 选举（基于 Paxos 算法的实现）能过得到多数的支持，所以 ZooKeeper 集群的数量一般为奇数。 Zookeeper 运行需要 java 环境，所以需要提前安装 jdk 1.　卸载自带的jdk 查看当前jdk版本信息 获取java软件包的...
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 4217
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
Hadoop+Zookeeper搭建集群
weixin_42167918的博客
08-27 418
  前期准备 1.修改Linux主机名，每台都得配置 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-server1 2.修改IP /etc/sysconfig/network-scripts/ifcfg-eth0 3.修改主机名和IP的映射关系 vim /etc/hosts 192.168.146.181 hadoo...
hadoop之——zookeeper配置
不停
10-15 661
文章目录一 下载/安装/权限更改/环境配置1. 下载zookeeper-3.5.7到 `/opt/software`2. 解压并改名3. 更改环境变量并source1. 执行命令`vim /etc/profile.d/my_env.sh`2. 加入4. 配置zookeeper1. 改名2. 配置 vim zoo.cfg5. 同步与集群配置1. 同步2. 创建myid `vim /opt/module/zookeeper-3.5.7/data/myid`二 启动zookeeper1. 多节点执行`zkServ
Hadoop环境配置（9）-zookeeper搭建
m0_65077609的博客
12-18 175
zookeeper搭建前提关闭防火墙 1.将zookeeper安装包拖至cd /opt/software文件夹下 2.解压zookeeper到cd /opt/module/文件夹下 cd /opt/software/ tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz -C /opt/module/ 3.在解压后的zookeeper文件夹下，创建log文件夹和data文件夹 cd /opt/module/apache-zookeeper-3.5.7.
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在大数据处理领域，Hadoop、Zookeeper和HBase是三个非常关键的组件，它们共同构建了一个高效、可扩展的数据仓库集群。以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件...
基于Zookeeper搭建Hadoop高可用集群
最新发布
06-15
基于 Zookeeper 搭建 Hadoop 高可用集群是指使用 Zookeeper 实现 Hadoop 集群的高可用性，确保 Hadoop 集群的可靠性和稳定性。高可用性是指系统在面临故障或错误时仍能继续运行的能力，能够确保系统的连续性和可靠性...
hadoop、spark、zookeeper配置大全，绝对可用
10-19
略有些简陋，但绝对可用。hadoop、spark、zookeeper配置大全，绝对可用。
hadoop、zookeeper、hbase、spark集群配置文件
09-13
搭建hadoop+zookeeper+hbase+spark集群的配置文件和启停命令
Hadoop环境搭建（10）--Zookeeper环境搭建
m0_56841551的博客
12-09 1129
在zookeeper安装之前，先检查防火墙是否关闭 ①防火墙状态的查看，命令： systemctl status firewalld ②关闭防火墙，命令： systemctl stop firewalld ③设置开机防火墙不启动，命令： systemctl disable firewalld 1、将zookeeper安装包拉到/opt/software/文件夹中 安装包版本：apache-zookeeper-3.5.5-bin.tar.gz 2、解压zookeeper安装包到
hadoop+zookeeper
liuyong1_的博客
06-19 3145
系统环境:RHEL6.5 selinux and iptables is disabled Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件 软件版本:hadoop-2.7.3.tar.gz zookeeper-3.4.9.tar.gz jdk-7u79-linux-x64.tar.gz hbase-1.2.4-bin.tar.gz 172.25.40.1:N...
Hadoop集群之zookeeper安装配置
蘑菇丁的专栏
09-13 1479
1.hadoop安装如下文： http://blog.csdn.net/haoxiaoyan/article/details/52523749 2．下载地址： http://mirror.bjtu.edu.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz 3.zookeepe 安装 ①　上传软件并解压 把zoo
Hadoop学习笔记—14.ZooKeeper环境搭建
deguotiantang的专栏
02-28 424
从字面上来看，ZooKeeper表示动物园管理员，这是一个十分奇妙的名字，我们又想起了Hadoop生态系统中，许多项目的Logo都采用了动物，比如Hadoop采用了大象的形象，所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作的。 一、ZooKeeper基础介绍 1.1 动物园也要保障安全 　　zookeeper是hadoop下面的一个子项目，用来协调跟hadoop相关
CentOS 6.4 hadoop集成 Hbase Zookeeper
飞翔的荷兰人
07-09 182
再上一章中我们已经学习了[url=http://flyingdutchman.iteye.com/admin/blogs/1901639]Hadoop-1.0.3集成Hive-0.8.1[/url]，在这一章节我们来学习一下如何配置Hbase-0.92.2。 [size=large][color=blue]配置Zookeeper先[/color][/size]...
大数据学习初级入门教程（十二） —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成
码园平常事
04-14 404
在以前一篇《大数据学习初级入门教程（一） —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中，详细写了 Hadoop 完全分布式集群的安装步骤，在上一篇《大数据学习初级入门教程（十一） —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试》中详细写了 Zookeeper 完全分布式集群的安装步骤，所以这篇谢谢如何让两个集群做集成，让 Zookeeper 保证 ...
solr学习第九课程----Zookeeper的安装
艾文
01-02 1076
一、什么是Zookeeper？ Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务。 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等 二、为什么使用Zookeeper？ （1）大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）； （2）目
Hadoop与Zookeeper集群整合教程：搭建高可用NameNode
"该资源主要涉及的是如何将Hadoop与Zookeeper进行集群整合，以便实现高可用性(HA)的大数据存储和管理解决方案。作者提到后续会有更多关于大数据部署的相关资料，表明这是一个系列教程的一部分。" 在大数据处理领域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值