搭建高可用集群

搭建高可用集群

创建三台虚拟机，均安装jdk，关闭防火墙，改机器名为hd01，hd02和hd03，分别安装vim

编辑器，wget下载器，改国内源，做无密登录，使三台机可以互联

hostnamectl set-hostname hd01
vim /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network
yum install -y vim
yum install -y wget
systemctl stop firewalld             //一定要关防火墙
systemctl disable firewalld

修改阿里源

#备份原始源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#下载源
wget -O /etc/yum.repos.d/CentOS-Base.repo
https://mirrors.aliyun.com/repo/Centos-7.repo
#清除缓存
yum clean all # 清除系统所有的yum缓存
yum makecache # 生成yum缓存

、

无密登录

生成公私钥
ssh-keygen -t rsa -P ''
将所有机器的公私钥复制给所有机器，包括自己
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.56.138
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.56.139
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.56.140
修改hosts文件，保证每个需要互联的机器都有对方的地址和机器名
vim /etc/hosts

复制后切换登录，三台虚拟机密码均为ok，

ssh hd01 ssh hd02 ssh hd03 三台机输入可实现互通,exit退出

时间同步

# 安装chrony
yum -y install chrony
#配置chrony
vim /etc/chrony.conf
注释掉
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
后面加内容，保存退出
server ntp1.aliyun.com
server ntp2.aliyun.com
server ntp3.aliyun.com
#启动chrony
systemctl start chronyd

安装wget和psmisc

yum install -y wget
yum install -y psmisc

配置zookeeper环境变量

vim /etc/profile

在文档末位置添加下方内容

#zookeeper
export ZOOKEEPER_HOME=/opt/soft/zk345
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#hadoop
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

保存退出并激活
source /etc/profile

解压hadoop移动并建立文件夹

进入opt文件夹下
cd /opt
# 解压
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
# 移动到自己的安装文件夹下
mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
# 添加对应各个文件夹
mkdir -p /opt/soft/hadoop260/tmp
mkdir -p /opt/soft/hadoop260/dfs/journalnode_data
mkdir -p /opt/soft/hadoop260/dfs/edits
mkdir -p /opt/soft/hadoop260/dfs/datanode_data
mkdir -p /opt/soft/hadoop260/dfs/namenode_data

配置hadoop环境

进hadoop下的配置目录

vim /opt/soft/hadoop260/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop

配置zoo.cfg环境

修改zoo.cfg配置文件，路径如下

解压文件
tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz
移动命名
mv zookeeper-3.4.5-cdh5.14.2 soft/zk345
更名zoo文件
cd /opt/soft/zk345/conf/
mv zoo_sample.cfg zoo.cfg
修改文件环境
vim /opt/soft/zk345/conf/zoo.cfg

将地址改为data并添加三个server，对应三台虚拟机地址，后跟两个固定端口，此处地址0

对应138,1对应139,2对应140

dataDir=/opt/soft/zk345/data

server.0=192.168.56.138:2888:3888  //注意这里的地址为自己的地址 
server.1=192.168.56.139:2888:3888
server.2=192.168.56.140:2888:3888

绑定myid文件（三机不同）

进入data文件夹，删除里面所有内容并新建myid文件，0对应地址的虚拟机输入数字0，1对

应的虚拟机输入数字1，最后用cat检查三个数字编号0,1,2

在zk345下建立data文件夹，建立myid文件
mkdir data
cd /opt/soft/zk345/data/
rm -rf *
vim myid
cat myid

)

配置core，hdfs，mapper，yarn（单机操作）

cd /opt/soft/hadoop260/etc/hadoop
//配置文件内容在pdf
//注意要把中文删除
vim core-site.xml
vim hdfs-site.xml
vim yarn-site.xml
//将mapper复制一份，再编辑
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

配置core-site.xml

<configuration>
<!--指定hadoop集群在zookeeper上注册的节点名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hacluster</value>
</property>
<!--指定hadoop运行时产生的临时文件-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:///opt/soft/hadoop260/tmp</value>
</property>
<!--设置缓存大小 默认4KB-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper的存放地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<!--配置允许root代理访问主机节点-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--配置该节点允许root用户所属的组-->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>

配置hdfs-site.xml

<configuration>
<property>
<!--数据块默认大小128M-->
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<!--副本数量 不配置默认为3-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--namenode节点数据(元数据)的存放位置-->
<name>dfs.name.dir</name>
<value>file:///opt/soft/hadoop260/dfs/namenode_data</value>
</property>
<property>
<!--datanode节点数据(元数据)的存放位置-->
<name>dfs.data.dir</name>
<value>file:///opt/soft/hadoop260/dfs/datanode_data</value>
</property>
<property>
<!--开启hdfs的webui界面-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<!--datanode上负责进行文件操作的线程数-->
<name>dfs.datanode.max.transfer.threads</name>
<value>4096</value>
</property>
<property>
<!--指定hadoop集群在zookeeper上的注册名-->
<name>dfs.nameservices</name>
<value>hacluster</value>
</property>
<property>
<!--hacluster集群下有两个namenode分别是nn1,nn2-->
<name>dfs.ha.namenodes.hacluster</name>
<value>nn1,nn2</value>
</property>
<!--nn1的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn1</name>
<value>hd01:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn1</name>
<value>hd01:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn1</name>
<value>hd01:50070</value>
</property>
<!--nn2的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn2</name>
<value>hd02:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn2</name>
<value>hd02:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn2</name>
<value>hd02:50070</value>
</property>
<property>
<!--指定Namenode的元数据在JournalNode上存放的位置-->
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hd01:8485;hd02:8485;hd03:8485/hacluster</value>
</property>
<property>
<!--指定JournalNode在本地磁盘的存储位置-->
<name>dfs.journalnode.edits.dir</name>
<value>/opt/soft/hadoop260/dfs/journalnode_data</value>
</property>
<property>
<!--指定namenode操作日志存储位置-->
<name>dfs.namenode.edits.dir</name>
<value>/opt/soft/hadoop260/dfs/edits</value>
</property>
<property>
<!--开启namenode故障转移自动切换-->
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<!--配置失败自动切换实现方式-->
<name>dfs.client.failover.proxy.provider.hacluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<!--配置隔离机制-->
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<!--配置隔离机制需要SSH免密登录-->
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<!--hdfs文件操作权限 false为不验证-->
<name>dfs.premissions</name>
<value>false</value>
</property>
</configuration>

配置mapper-site.xml

<configuration>
<property>
<!--指定mapreduce在yarn上运行-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--配置历史服务器地址-->
<name>mapreduce.jobhistory.address</name>
<value>hd01:10020</value>
</property>
<property>
<!--配置历史服务器webUI地址-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>hd01:19888</value>
</property>
<property>
<!--开启uber模式-->
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
</configuration>

配置yarn-site.xml

<configuration>
<property>
<!--开启yarn高可用-->
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<!-- 指定Yarn集群在zookeeper上注册的节点名-->
<name>yarn.resourcemanager.cluster-id</name>
<value>hayarn</value>
</property>
<property>
<!--指定两个resourcemanager的名称-->
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<!--指定rm1的主机-->
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hd02</value>
</property>
<property>
<!--指定rm2的主机-->
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hd03</value>
</property>
<property>
<!--配置zookeeper的地址-->
<name>yarn.resourcemanager.zk-address</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<property>
<!--开启yarn恢复机制-->
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<!--配置执行resourcemanager恢复机制实现类-->
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<!--指定主resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hd03</value>
</property>
<property>
<!--nodemanager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!--开启日志聚集功能-->
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<!--配置日志保留7天-->
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

配置slaves（单机操作）

只在hadoop01配置slaves，将原本的内容改为和hd01
cd /opt/soft/hadoop260/etc/hadoop
vim slaves

远程拷贝scp

所有配置都在hd01上进行，配置完成后需拷贝到hd02和hd03，耗时较长，hd01，hd02，

hd03只有myid文件和slaves文件不同，前面所有均可在一台机上进行，最后复制到另外两

台机

scp -r /opt/soft/hadoop260/ root@hd02:/opt/soft
scp -r /opt/soft/hadoop260/ root@hd03:/opt/soft

启动（三台机均可启动）<不放心建议在此做快照>

无法启动则查看etc/profile，是否配置环境并激活
zkServer.sh start
hadoop-daemon.sh start journalnode
jps查看启动情况

格式化namenode(只在hd01主机上)

hdfs namenode -format

将hd01上的Namenode的元数据复制到hd02相同位置

scp -r /opt/soft/hadoop260/dfs/namenode_data/current/ root@hd02:/opt/soft/hadoop260/dfs/namenode_data

在hd01或hd02格式化故障转移控制器zkfc

hdfs zkfc -formatZK

在hd01上启动dfs服务

start-dfs.sh

在hd03上启动yarn服务

start-yarn.sh

在hd01上启动history服务器

mr-jobhistory-daemon.sh start historyserver

在hd02上启动resourcemanager服务

yarn-deamon.sh start resourcemanager

特别注意：

jps 上面服务不能缺少

查看状态

# 在hd01上查看服务状态
hdfs haadmin -getServiceState nn1 #active
hdfs haadmin -getServiceState nn2 #standby
# 在hd03上查看resourcemanager状态
yarn rmadmin -getServiceState rm1 #standby
yarn rmadmin -getServiceState rm2 #active

检查主备切换

# kill 掉Namenode主节点 查看Namenode standby节点状态
kill -9 namenode主节点进程
# 恢复后重新加入
hadoop-deamon.sh start namenode #启动后也只是standby节点

集群二次启动

#在hd01上启动dfs
start-dfs.sh
#在hd03上启动yarn
start-yarn.sh
#在hd02上启动resourcemanager
yarn-daemon.sh start resourcemanager

705579471300)]

查看状态

# 在hd01上查看服务状态
hdfs haadmin -getServiceState nn1 #active
hdfs haadmin -getServiceState nn2 #standby
# 在hd03上查看resourcemanager状态
yarn rmadmin -getServiceState rm1 #standby
yarn rmadmin -getServiceState rm2 #active

检查主备切换

# kill 掉Namenode主节点 查看Namenode standby节点状态
kill -9 namenode主节点进程
# 恢复后重新加入
hadoop-deamon.sh start namenode #启动后也只是standby节点

集群二次启动

#在hd01上启动dfs
start-dfs.sh
#在hd03上启动yarn
start-yarn.sh
#在hd02上启动resourcemanager
yarn-daemon.sh start resourcemanager