hadoop-2.4.1集群搭建及zookeeper管理

最新推荐文章于 2024-01-28 14:29:53 发布
最新推荐文章于 2024-01-28 14:29:53 发布
阅读量71 收藏
点赞数
文章标签： 大数据 运维 开发工具
原文链接：http://www.cnblogs.com/zd520pyx1314/p/6534115.html
版权

准备

1.1修改主机名，设置IP与主机名的映射

[root@xuegod74 ~]# vim /etc/hosts

192.168.1.73 xuegod73

192.168.1.74 xuegod74

192.168.1.75 xuegod75

192.168.1.76 xuegod76

192.168.1.77 xuegod77

192.168.1.78 xuegod78

192.168.1.79 xuegod79

192.168.1.80 xuegod80

192.168.1.81 xuegod81

1.2清空防火墙规则，设置防火墙开机自动关闭

[root@xuegod74 ~]# iptables -F

[root@xuegod74 ~]# service iptables stop

[root@xuegod74 ~]# chkconfig iptables off

[root@xuegod74 ~]# chkconfig iptables --list

iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off

1.3添加用户及用户组（这步是给普通用户执行的，本实验是root 用户下运行的，普通用户类似，只要用root赋予权限即可，没什么给什么···）

[root@xuegod74 ~]# groupadd hadoop

[root@xuegod74 ~]# useradd hadoop -g hadoop

[root@xuegod74 ~]# echo 123456 | passwd --stdin hadoop

1.4配置节点之间的ssh互信机制

1.4.1生成密钥（前提是已经安装了openssh,如果没有安装的话要配置下yum源，执行yum install openssh openssh-* -y进行安装）

[root@xuegod74 ~]# ssh-keygen #生成密钥

[root@xuegod74 ~]# ssh-copy-id xuegod74 #依次执行(xuegod75，xuegod76，xuegod77，xuegod78，xuegod79，xuegod80)注意这步要包括本机。

2.1上传软件包

[root@xuegod74 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/sda3 18G 3.0G 14G 18% /

tmpfs 931M 0 931M 0% /dev/shm

/dev/sda1 194M 27M 158M 15% /boot

/dev/sr0 4.2G 4.2G 0 100% /cdrom

.host:/ 466G 302G 165G 65% /mnt/hgfs

[root@xuegod74 ~]# cd /mnt/hgfs/E/hadoop/

[root@xuegod74 hadoop]# ls

e682b1eac9d0113cd9bb2c6dd4529d

eclipse-SDK-4.2.2-linux-gtk-x86_64.tar.gz

hadoop-0.20.0.tar.gz

hadoop-1.2.1.tar.gz

hadoop-2.4.1.tar.gz

hadoop-2.5.2.tar.gz

hadoop2.5.2安装.docx

hadoop-2.6.1.tar.gz

hadoop-2.7.1.tar.gz

hadoop-2.7.1.txt

hadoop2.7.1安装.docx

hadoop安装.docx

pig-0.7.0.tar.gz

zookeeper-3.3.2.tar.gz

clip_image002

（也可以用ssh远程连接工具直接用rz上传）

clip_image004

[root@xuegod74 hadoop]# tar -xvf hadoop-2.4.1.tar.gz -C /usr/src/

[root@xuegod74 Java]# cp jdk-8u66-linux-x64.rpm /usr/src/

clip_image006

[root@xuegod74 src]# rpm -ivh jdk-8u66-linux-x64.rpm

2.2配置环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_66/

export HADOOP_HOME=/usr/src/hadoop-2.4.1/

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HB

ASE_HOME/bin:$PATH:$PIG_HOME/bin

clip_image008

2.3hadoop安装配置配置

总共需要配置

clip_image010

2.3.1 hadoop-env.sh配置

[root@xuegod74 hadoop]# vim hadoop-env.sh

clip_image011

2.3.2 hdfs-site.xml配置

<configuration>

<property>

<name>dfs.nameservices</name>

<value>ns1</value>

</property>

<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->

<property>

<name>dfs.ha.namenodes.ns1</name>

<value>nn1,nn2</value>

</property>

<!-- nn1的RPC通信地址 -->

<value>xuegod74:9000</value>

</property>

<!-- nn1的http通信地址 -->

<property>

<name>dfs.namenode.http-address.ns1.nn1</name>

<value>xuegod74:50070</value>

</property>

<!-- nn2的RPC通信地址 -->

<property>

<name>dfs.namenode.rpc-address.ns1.nn2</name>

<value>xuegod75:9000</value>

</property>

<!-- nn2的http通信地址 -->

<property>

</property>

<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

<property>

<name>dfs.namenode.shared.edits.dir</name>

</property>

<!-- 指定JournalNode在本地磁盘存放数据的位置 -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>

</property>

<!-- 开启NameNode失败自动切换 -->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!-- 配置失败自动切换实现方式 -->

<property>

<name>dfs.client.failover.proxy.provider.ns1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.Configur

edFailoverProxyProvider</value>

</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->

<property>

<name>dfs.ha.fencing.methods</name>

<value>

sshfence

shell(/bin/true)

</value>

</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<!-- 配置sshfence隔离机制超时时间 -->

<property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

<value>30000</value>

</property>

</configuration>

2.3.3 core-site.xml

[root@xuegod74 hadoop]# vim core-site.xml

<configuration>

<!-- 指定hdfs的nameservice为ns1 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://ns1</value>

</property>

<!-- 指定hadoop临时目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>

</property>

<!-- 指定zookeeper地址 -->

<property>

<name>ha.zookeeper.quorum</name>

<value>xuegod78:2181,xuegod79:2181,xuegod80:2181</value>

</property>

</configuration>

2.3.4 mapred-site.xml

[root@xuegod74 hadoop]# vim mapred-site.xml

<!-- Put site-specific property overrides in this file. -->

<configuration>

<!-- 指定mr框架为yarn方式 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

2.3.5 yarn-site.xm

[root@xuegod74 hadoop]# vim yarn-site.xml

<!-- Site specific YARN configuration properties -->

<!-- 开启RM高可用 -->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<!-- 指定RM的cluster id -->

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>yrc</value>

</property>

<!-- 指定RM的名字 -->

<property>

limitations under the License. See accompanying LICENSE file.

-->

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- 开启RM高可用 -->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<!-- 指定RM的cluster id -->

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>yrc</value>

</property>

<!-- 指定RM的名字 -->

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

<!-- 分别指定RM的地址 -->

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>xuegod76</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>xuegod77</value>

</property>

<!-- 指定zk集群地址 -->

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>xuegod78:2181,xuegod79:2181,xuegod80:2181</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

2.4在xuegod77、xuegod79、xuegod80上面配置zookeeper

上传zookeeper软件包方法同上

clip_image013

[root@xuegod78 src]# cd zookeeper-3.4.7/conf/

[root@xuegod78 conf]# cdcp zoo_sample.cfg zoo.cfg

[root@xuegod78 conf]# ls

clip_image015

2.4.1 配置zookeeper

[root@xuegod78 conf]# vim zoo.cfg

clip_image016

clip_image017

[root@xuegod78 ~]# mkdir -p /home/zookeeper-3.4.7/tmp

[root@xuegod78 ~]# echo 1 > !$/myid

[root@xuegod74 ~]# start-dfs.sh

[root@xuegod78 ~]# cat !$

clip_image018

2.4.2 配置环境变量

[root@xuegod78 ~]# vim /etc/profile

export JAVA_HOME=/usr/src/jdk1.8.0_66/

export JAVA_HOME=/usr/java/jdk1.8.0_66/

export HADOOP_HOME=/usr/src/hadoop-2.4.1/

export ZOOKEEPER_HOME=/usr/src/zookeeper-3.4.7/

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PA

TH:$ZOOKEEPER_HOME/bin

是配置文件生效

[root@xuegod78 ~]# source !$

2.4.3验证配置是否成功

[root@xuegod78 ~]# zkServer.sh status #这里已经启动所以会有以下信息，如果是配置成功的话直接zkS键入之后按下Tab键就可以自动补全，证明zookeeper安装配置成功。

ZooKeeper JMX enabled by default

Using config: /usr/src/zookeeper-3.4.7/bin/../conf/zoo.cfg

Mode: follower

2.4.4 将配置好的zookeeper拷贝到xuegod79和xuegod80上面

[root@xuegod78 ~]# scp -r /usr/src/zookeeper-3.4.7/ xuegod79:/usr/src/

[root@xuegod78 ~]# scp -r /usr/src/zookeeper-3.4.7/ xuegod80:/usr/src/

同样分别在xuegod79和xuegod80上面创建mkdir /home/zookeeper-3.4.7/tmp/

echo 2 > /home/zookeeper-3.4.7/tmp/myid #xuegod79上面

echo 3 > /home/zookeeper-3.4.7/tmp/myid #xuegod80上面

3.1在xuegod74上面讲配置好的文件拷贝到其他节点

[root@xuegod74 hadoop]# scp -r /usr/src/hadoop-2.4.1/ xuegod75:/usr/src/

[root@xuegod74 hadoop]# scp /etc/profile xuegod75:/etc/

以上操作要一次拷贝到xuegod76 xuegod77 xuegod78 xuegod79 xuegod80上面。

4.启动集群

4.1首先分别在xuegod78，xuegod79和xuegod80上面启动zookeeper

4.1.1启动zookeeper

[root@xuegod78 ~]# zkServer.sh start #要分别在xuegod79 xuegod80上面执行

ZooKeeper JMX enabled by default

Using config: /usr/src/zookeeper-3.4.7/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

4.1.2启动journalnode（分别在在xuegod78 xuegod79 xuegod80上执行）

[root@xuegod78 ~]# hadoop-daemon.sh start journalnode

4.1.3格式化HDFS,在xuegod74上面

[root@xuegod74 hadoop]# hdfs namenode -format

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置

的是/home/hadoop/app/hadoop-2.4.1/tmp，然后将/home/hadoop/app/hadoop-2.4.1/tmp拷贝到xuegod75的/home/hadoop/app/hadoop-2.4.1/tmp下.

[root@xuegod74 ~]#scp -r /home/hadoop/app/hadoop-2.4.1/tmp/ xuegod75:/home/hadoop/app/hadoop-2.4.1/

clip_image020

建议是使用hdfs namenode -bootstrapStandby来格式化

4.1.4格式化ZKFC（在xuegod74上）

[root@xuegod74 ~]# hdfs zkfc -format

4.2 启动HDFS（在xuegod74上）

[root@xuegod74 ~]# start-dfs.sh

4.3 启动启动YARN（在xuegod75上）

[root@xuegod75 ~]# start-yarn.sh

5查看

clip_image021

clip_image023

clip_image024

clip_image026

clip_image028

6关闭集群

[root@xuegod74 ~]# stop-all.sh

[root@xuegod74 ~]# ssh xuegod78 #手动关闭xuegod79 xuegod80上的zookeeper

[root@xuegod78 ~]# zkServer.sh stop

注：若有错误请诸君指正，谢谢~

转载于:https://www.cnblogs.com/zd520pyx1314/p/6534115.html

weixin_30892987
关注
Hadoop-2.4.1学习之ResourceManager重启
skyWalker_ONLY
11-27 9824
本文翻译自hadoop官网的ResourceManager Restart一文，主要讲解了ResourceManager在遇到故障重启后而不影响重启前的应用程序的特性，以及如何配置ResourceManager重启
Hadoop-2.4.1学习之高可用ResourceManager
skyWalker_ONLY
12-04 9640
本文介绍了ResourceManager的HA特性，并详细描述了如何配置RM的HA及自动故障转移
zookeeper+hadoop集群搭建
yauiel888的博客
09-05 234
hadoop安装 说明 hadoop1,hadoop2,hadoop3三台服务器，做好映射。 三台服务器免密登录 zookeeper集群搭建 JDK安装(集群环境尽量保持一致) ntp服务器时间同步 hadoop2安装 hadoop-2.7.7下载 解压 tar -zxvf hadoop-2.7.7.tar.gz mv hadoop-2.7.7 hadoop 环境变量配置 vim /...
Zookeeper与Hadoop的集成与应用
最新发布
AI天才研究院
01-28 835
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Hadoop 是两个非常重要的开源项目，它们在分布式系统中扮演着关键的角色。Zookeeper 是一个分布式协调服务，用于实现分布式应用的一致性。Hadoop 是一个分布式文件系统和分布式计算框架，用于处理大量数据。在实际应用中，Zookeeper 和 Hadoop 之间存在密切的联系，它们可以相互辅助，提高系统的可靠性和性能...
Hadoop系列五：Hadoop之Zookeeper篇
医疗影像检索
03-14 2574
ZooKeeper安装和运行 Zookeeper是一个高性能、分布式的、开源分布式应用协调服务，具有命名服务、配置管理、同步和组服务等基本功能。Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。
Zookeeper、hadoop集群搭建详细过程
我可能在扯淡
07-17 5129
一、概述 学校安排的大数据实训课程刚结束,当时是跟着老师傻瓜式搭建的,遇到问题大多也是他帮忙解决的。然后自己开始学习一个电商项目,里面用到了集群的知识,于是得自己搭建一个集群,便于项目开发。至于他们的作用就不多少了,直接开始吧 二、安装前环境准备 集群规划：（安装集群之前，先规划下集群，考虑配置,ip，内存硬盘，cpu） 主机名 IP 运行的进程 liquanhong1 192.1
hadoop2.4.1
08-25
根据提供的标题、描述、标签及部分内容，我们可以提炼出与Hadoop 2.4.1集群搭建及Hadoop HA相关的详细知识点。以下是对这些知识点的详细阐述： ### Hadoop 2.4.1 集群搭建与Hadoop HA #### 一、Hadoop 2.4.1 版本...
两 ResourceManager 的 Hadoop 2.4.1 集群搭建详述
本文档详细介绍了如何在Hadoop 2.4.1环境中搭建一个拥有两个ResourceManager的集群。首先，我们需要注意的是，Hadoop 2.0引入了HDFS和YARN（Yet Another Resource Negotiator）架构，以支持更高效和灵活的资源管理和...
配套安装：Hadoop 3.1.3Zookeeper3.5.7Hbase2.2.0
m0_54035843的博客
12-06 1604
一、文件解压 cd /opt/module/ tar -zxvf hbase-2.2.0-bin.tar.gz 二、修改启动变量 系统环境增加 vi /etc/profile export HBASE_HOME=/opt/module/hbase-2.2.0 export PATH=$PATH:$HBASE_HOME/bin 保存系统环境变量：source /etc/profile 修改hbase变量 cd /opt/module/hbase-2.2.0/conf/ vi..
使用Zookeeper对集群节点进行管理
Ethan Mr.的博客
05-13 1488
通过zookeeper可以模拟实现对集群节点上下线进行监测，当服务器节点上线时，作为临时节点注册到zookeeper中的/servers目录下，如/servers/hadoop102，而节点下线时临时节点就会从目录中删除。服务器3启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。如果当前节点失联，leader仍存在，虽然当前节点会试图去选举Leader，但与其他节点交换信息时会被告知当前服务器的Leader信息，然后重新和Leader机器建立连接，并进行状态同步即可。
Hadoop的HA机制(Zookeeper集群+Hadoop集群)配置记录
热门推荐
BD的笔记
04-12 1万+
博主：hadoop_version=2.4.1 java_version=1.7 zooKeeper_version=3.4.5 Linux =CentOs 6.5 1.首先说明HA是什么？ HA意为High Available，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通
Spark2.4+Hadoop2.7+Zookeeper3.4+HBase2.1集群部署
驰骋天下
01-18 2268
Spark2.4+Hadoop2.7集群部署操作系统及软件配置Linux环境修改hosts文件关闭防火墙Master到Slave免密码登录Slave到Master免密码登录修改/etc/profile配置集群Hadoop集群Spark集群启动和验证集群 操作系统及软件 操作系统：Cent OS 7.2 应用软件：软件可以到官网去下，也可以使用本站提供的地址 Spark 2.4.0： http://...
Hadoop2.4.1集群配置（无Zookeeper版）
路漫漫其修远
03-26 633
Hadoop2.4.1集群配置（无热备版） 【说明：】 本次安装使用CentOS6.5_x86 所用的JDK与hadoop2.4.1也均为32位 此次配置，并未使用Zookeeper 一、   准备Linux系统 用户全称：Cloud 用户名:   hadoop 密码:      hadoop   NameNode: CentOS001 192.168.35.50 Secon
基于zookeeper的高可用Hadoop HA集群安装
猿类崛起
06-18 5668
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com/blog/2253544 (3)1.x和2.x都支持的集群安装 http://aperise.iteye.com/blog/2245547
Zookeeper安装与调优部署(WinServer)
u011635437的博客
02-23 346
1. 安装环境准备 1.1 部署规划 软件安装路径 E:\zookeeper 端口规划 2192 2. Zookeeper安装部署 2.1 JDK安装部署  安装描述  新建software文件夹，将安装包拷贝到该文件夹下  JDK版本为jdk-8u131-windows-x64.exe，点击exe安装包；  在弹出的窗口，点击下一步；  根据需要修改安装路径，点击下一步；  安装JRE，点击下一步；  完成安装。  环境变量配置  打开控制面板-点击系统-高级系统设置-进入高级选项卡-环
基于ZooKeeper搭建Hadoop高可用集群，附大数据入门指南
架构文摘
06-26 705
大数据依然是当前较为火热的领域，其背后的核心价值是数据。今天分享一个GitHub上一个系类文章，作者是heibaiying，大数据入门指南（2019）地址：https:/...
（超详细）基于Zookeeper的Hadoop HA集群的搭建
JunLeon的博客
10-10 1万+
基于Zookeeper的Hadoop HA集群的搭建 JunLeon——go big or go home 前言： 高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。 Hadoop HA是hadoop2.0后新添加的特性，包括NameNode HA和ResourceManager HA。 NameNode HA采用双Na...
zookeeper和hadoop集群（伪分布式）
博客
09-29 761
1.Zookeeper官网 http://zookeeper.apache.org/ 2.安装Zookeeper 解压，配置环境变量，启动 根目录下bin/zkServer.sh start 这里是三台虚拟机，hadoop001，hadoop002，hadoop003 命令行客户端： [root@hadoop001 bin]# ./zkCli.sh （之后回车） 相关命令： [zk: localh...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值