hadoop-HA高可用集群安装部署

最新推荐文章于 2024-05-03 15:27:48 发布

栖之

最新推荐文章于 2024-05-03 15:27:48 发布

阅读量1.5k

点赞数

分类专栏： hadoop 文章标签： hadoop ha

本文链接：https://blog.csdn.net/tyhawk/article/details/88887463

版权

hadoop 专栏收录该内容

11 篇文章 1 订阅

订阅专栏

一、运行环境

1. 软件环境

五个节点
OS：64位RHEL6及以上或者64位CentOS7.0及以上
JVM：预装64位JDK 1.8及以上版本
浏览器要求:Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。

二、安装准备

2.1 准备虚拟机

准备四个节点的虚拟机

管理节点	待机管理节点	工作节点
hc1:192.168.222.128	hc2:192.168.222.129	hc3:192.168.222.130
		hc3:192.168.222.131
		hc3:192.168.222.132

2.2 修改主机名

所有节点分别操作，在各个节点执行以下操作来修改主机名，使集群下的主机有格式一个统一的主机名，以便后续的操作和维护。
使用root用户修改主机名

vim /etc/hostname
文件内容修改为：
hc1 （hc1为想改的主机名,分别修改自己的）
注：主机名（hc*）与主机相对应。
在对应主机上执行以下命令，使主机名生效：
hostname hc*
注：主机名（hc*）与主机相对应。

或hostnamectl set-hostname {hostnewname}
重启生效

2.3 关闭防火墙

通过systemctl命令关闭防火墙
注：要使用root用户

systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service #开机即关闭

2.4 修改主机名列表

使用root用户修改/etc/hosts （所有节点都操作，且内容相同）
vim /etc/hosts
添加以下内容：
192.168.222.128 hc1
192.168.222.129 hc2
192.168.222.130 hc3
192.168.222.131 hc4
192.168.222.132 hc5
……

2.5 配置时间同步

配置自动时钟同步
该项同时需要在所有节点配置

使用Linux命令配置

[root@master ~]$ crontab -e
该命令是vi编辑命令，按i进入插入模式，按Esc，然后键入:wq保存退出
键入下面的一行代码，输入i，进入插入模式（星号之间和前后都有空格）
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

手动同步时间
直接在Terminal运行下面的命令：
[root@master ~]$ /usr/sbin/ntpdate cn.pool.ntp.org

2.6 配置免秘钥登录

tyhawk用户登录hc1节点，执行以下指令生成一对密钥(hadoop用户下)
ssh-keygen -t rsa
回车——回车——回车
登录hc2节点生成密钥，并传给hc1
ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub01

登录hc3节点生成密钥，并传给hc1
ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub02

登录hc4节点生成密钥，并传给hc1
ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub03

登录hc5节点生成密钥，并传给hc1
ssh-keygen -t rsa

scp /home/tyhawk/.ssh/id_rsa.pub @hc1:/home/tyhawk/.ssh/id_rsa.pub04

登录hc1节点，组合所有公钥
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
cat id_rsa.pub01 >> authorized_keys
cat id_rsa.pub02 >> authorized_keys
cat id_rsa.pub03 >> authorized_keys
cat id_rsa.pub04 >> authorized_keys

注：要修改文件权限。
chmod 600 authorized_keys
分发密钥文件：在hc1上操作
scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc2:~/.ssh/
scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc3:~/.ssh/
scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc4:~/.ssh/
scp /home/tyhawk/.ssh/authorized_keys tyhawk@hc5:~/.ssh/
注：以上所有登陆节点、传输文件过程都需要输入对应节点tyhawk用户的登录密钥。
到此，免密成功，所有节点可以相互之间免密登录。
测试ssh hadoop002

2.7 安装jdk

因为大数据所有组件都是在JVM环境中运行，所以在安装其他组件之前必须安装首先JDK。
jdk版本推荐安装1.8
下载地址 http://pan.baidu.com/s/1c3kcWm 密码：alcj或者官网自行下载
上传至服务器tyhawk用户下：/home/tyhawk

将JDK文件解压，放到/usr/java目录下，使用root用户
文件：jdk-8u144-linux-x64.tar.gz

rz //rz命令上传，或者sftp上传文件
mkdir /usr/java/
mv /home/tyhawk/jdk-8u144-linux-x64.tar.gz /usr/java/
cd /usr/java/
tar -zxvf jdk-8u144-linux-x64.tar.gz

配置环境变量，使用tyhawk用户

vi ~/.bash_profile
添加以下内容

export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

生效配置文件

source ~/.bash_profile

测试

[tyhawk@hc1 ~]$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode

其他节点同上

三、安装其他组件

3.1 安装zookeeper

所有安装默认是在hc1上执行！
zk版本包:zookeeper-3.4.6.tar

解压并移动软件包（在所有节点执行）
将zookeeper-3.4.6.tar.gz 解压缩，
tar -zxvf zookeeper-3.4.6.tar.gz
修改配置文件（在hc1执行）
修改Zookeeper配置文件
/home/tyhawk/zookeeper-3.4.6/conf/zoo_sample.cfg重名为zoo.cfg。
进入到conf目录下，执行：

mv  zoo_sample.cfg  zoo.cfg

修改zoo.cfg,添加如下内容（zk选举是基数，所以要添加单数的服务）

server.1=hc1:2888:3888
server.2=hc2:2888:3888
server.3=hc3:2888:3888
server.4=hc4:2888:3888
server.5=hc5:2888:3888

创建/tmp/zookeeper目录，并在此目录下创建myid文件。
mkdir /tmp/zookeeper
cd /tmp/zookeeper

vi myid
在文件中写入数字
1

分发zookeeper软件包
scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc2:~/
scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc3:~/
scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc4:~/
scp -r /home/tyhawk/zookeeper-3.4.6 tyhawk@hc5:~/
修改myid文件
分别修改每个安装zookeeper的id

ssh tyhawk@hc2
vi /tmp/zookeeper/myid
修改文件中数字为2
2

ssh tyhawk@hc3
vi /tmp/zookeeper/myid
修改文件中数字为3
3

ssh tyhawk@hc4
vi /tmp/zookeeper/myid
修改文件中数字为4
4

ssh tyhawk@hc5
vi /tmp/zookeeper/myid
修改文件中数字为5
5

注：重新登录终端环境变量生效。
6. 启动Zookeeper

在安装zk的机器上执行，即hc{1-5}
注：进入zookeeper-3.4.6目录（可以写环境变量，以后重启了就不用进目录了）

[tyhawk@hc1 zookeeper-3.4.6]$ bin/zkServer.sh start

查看进程QuorumPeerMain是否启动

[tyhawk@hc1 zookeeper-3.4.6]$ jps
21882 Jps
21851 QuorumPeerMain

查看zookeeper状态

[tyhawk@hc1 zookeeper-3.4.6]$ bin/zkServer.sh status
JMX enabled by default
Using config: /home/tyhawk/zookeeper-3.4.6/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

3.2 安装hadoop

hadoop部分的配置分为两部分hdfs和yarn。

3.2.1 安装HDFS

hdfs版本：hadoop-2.7.7.tar

解压并移动软件包（在所有节点执行）
将/home/ltyhawk/hadoop-2.7.7.tar.gz解压

tar -zxvf hadoop-2.7.7.tar.gz

修改core-site.xml

（如果文件不存在，但是core-site.xml.template文件存在，则先修改文件名，执行mv core-site.xml.template core-site.xml）

[tyhawk@hc1 ~]$ vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/core-site.xml

修改为以下内容
注意：

< configuration > //这是语句的开头
插入这里 //插入在这里
< /configuration > //这是语句的结束

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://tyhawk</value>          //随便起的名字
    <final>false</final>       //开启某些功能时用到
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/tyhawk/hadoopdata</value>           //hadoop的tmp目录
    <final>false</final>                  
  </property>
  <property>
    <name>ha.zookeeper.quorum</name> 
    <value>hc1:2181,hc2:2181,hc3:2181,hc4:2181,hc5:2181</value>   //zk的数量和配置的数量对应
    <final>false</final>
  </property>
</configuration>

修改hdfs-site.xml

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
修改为以下内容：

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>tyhawk</value>           //这里的beh对应的core-site.xml中的fs.defaults  <value>hdfs://tyhawk</value>  //
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.namenodes.tyhawk</name>   //namenode个数
    <value>nn1,nn2</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.tyhawk.nn1</name>    //rpc服务的端口
    <value>hc1:9000</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.http-address.tyhawk.nn1</name>    //hht服务的端口
    <value>hc1:50070</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.tyhawk.nn2</name>    //nn2的RPC的端口
    <value>hc2:9000</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.http-address.tyhawk.nn2</name>
    <value>hc2:50070</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
   <value>qjournal://hc1:8485;hc2:8485;hc3:8485;hc4:8485;hc5:8485/tyhawk</value>  //对应zk文件个数
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled.tyhawk</name>
    <value>true</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.tyhawk</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.journalnode.edits .dir</name>
    <value>/home/tyhawk/metadata/journal</value>   //和journal相关存放目录
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>    //有关ssh公钥的配置
    <value>sshfence</value>
    <final>false</final>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>       //有关ssh密钥的配置
    <value>/home/lan/.ssh/id_rsa</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.replication</name>             //slaves副本的数量，对应接下来的slaves文件数量
    <value>3</value>
    <final>false</final>
  </property> 
</configuration>

修改slaves

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/slaves
修改为以下内容：

hc3
hc4
hc5

3.2.2 YARN

修改mapred-site.xml

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/mapred-site.xml
修改为以下内容：

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

修改yarn-site.xml

vim /home/lan/hadoop2.7.1/etc/hadoop/yarn-site.xml
修改为以下内容：

<configuration>
<!-- 开启RM高可用 -->
   <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
   </property>
   <!-- 指定RM的cluster id -->
   <property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>tyhawk</value>
   </property>
   <!-- 指定RM的名字 -->
   <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
   </property>
   <!-- 分别指定RM的地址 -->
   <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>hc1</value>
   </property>
   <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>hc2</value>
   </property>
   <!-- 指定zk集群地址 -->
   <property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>hc1:2181,hc2:2181,hc3:2181,hc4:2181,hc5:2181</value>
   </property>
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
   <!--开启故障自动切换-->
	<property>
     <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
     <value>true</value>
   </property>
<property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hc1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hc1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hc1:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hc1:8031</value>
    </property>

<property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hc2:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hc2:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hc2:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hc2:8031</value>
    </property>
        
</configuration>

修改hadoop环境变量

vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
vi /home/tyhawk/hadoop-2.7.7/etc/hadoop/yarn-env.sh (# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
这行注释了，需要找)

修改为以下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_144

修改全局环境变量

cd ~
vi .bash_profile

export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/tyhawk/hadoop-2.7.7          //这是添加的
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH     //这是添加的

3.2.3 分发配置文件

scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc2:~/
scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc3:~/
scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc4:~/
scp -r /home/tyhawk/hadoop-2.7.7 tyhawk@hc5:~/

注：将以上配置复制到所有节点

3.3 启动HDFS

启动journalnode

（进程名：JournalNode），哪些节点配置了此项，就在哪些节点上启动。（hc1,hc2,hc3.hc4,hc5）

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

格式化zookeeper，在hc1上执行

hdfs zkfc -formatZK

对hc1节点进行格式化和启动启动namenode（进程名：NameNode）：

hdfs namenode -format

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

对hc2节点进行格式化和启动

hdfs namenode -bootstrapStandby
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
在hc1和hc2上启动zkfc服务（zkfc服务进程名：DFSZKFailoverController）：此时hc1和hc2就会有一个节点变为active状态
$HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc
启动datanode（进程名：DataNode）：在hc1上执行
$HADOOP_HOME/sbin/hadoop-daemons.sh start datanode

3.4 验证是否成功

打开浏览器，访问 hadoop1:50070 以及 hadoop2:50070，你将会看到两个namenode一个是active而另一个是standby。
然后kill掉其中active的namenode进程，另一个standby的naemnode将会自动转换为active状态

3.5 启动yarn

在hc1上启动

（此脚本将会启动hc1上的resourcemanager及所有的nodemanager）
$HADOOP_HOME/sbin/start-yarn.sh

在hc2上启动resourcemanagerl

$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

3.6 验证是否配置成功

打开浏览器，访问hc1:8088或者hc2:8088，只有active的会打开如下界面，standby的那个不会看到页面。(对应yarn-site.xml里面)

然后kill掉active的resourcemanager另一个将会变为active的，说明resourcemanager HA是成功的

四、关闭集群

在hadoop-2.7.7目录里跑

4.1 关闭YARN

在hc1上启动stop-yarn.sh脚本:

$ sbin/stop-yarn.sh
这个脚本会关掉hc1的ResourceManager和所有的NodeManager：

.在hc2上通过脚本yarn-daemon.sh执行stop resourcemanager命令

sbin/yarn-daemon.sh stop resourcemanager

4.2 关闭HDFS

在hc1上启动stop-dfs.sh脚本，这个脚本会关掉hadoop01的HDFS服务和所有节点上的NameNode、DataNode和JournalNode

sbin/stop-dfs.sh

这里直接用sbin/stop-dfs.sh命令没有关掉hc1的NameNode和JournalNode，可以手动一个一个关闭

sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop journalnode

4.3 关闭ZKFC

在hc1上通过脚本yarn-daemon.sh执行stop zkfc命令

sbin/hadoop-daemon.sh stop zkfc

在hc2上通过脚本yarn-daemon.sh执行stop zkfc命令

sbin/hadoop-daemon.sh stop zkfc

4.4 关闭zookeeper

在hadoop1上启动zkServer.sh脚本，关闭zookeeper

/home/tyhawk/zookeeper-3.4.6/bin/zkServer.sh stop

栖之

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
hadoop-HA高可用集群安装部署

文章目录一、运行环境1. 软件环境2. 安装准备2.1 准备虚拟机2.2 修改主机名2.3 关闭防火墙2.4 修改主机名列表2.5 配置时间同步2.6 配置免秘钥登录2.7 安装jdk3. 安装其他组件3.1 安装zookeeper3.2 安装hadoop3.2.1 安装HDFS3.2.2 YARN修改mapred-site.xml修改yarn-site.xml修改环境变量修改全局环境变量3.2...
复制链接

扫一扫