Hadoop高可用集群搭建----直接安装

Hadoop高可用集群的搭建

**高可用集群：**由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成，一旦NameNode节点宕机，那么HDFS将不能进行文件的上传与下载。Hadoop依赖Zookeeper实现HDFS集群的高可用，由状态为Active的NameNode节点对外提供服务，而状态为StandBy的NameNode节点则负责数据的同步，一旦状态为Active的NameNode节点宕机，则状态为StandBy的NameNode节点将会切换为Active状态对外提供服务

一、搭建机器准备条件

          一台centos7虚拟机 ， 地址改为静态地址，以及关闭防火墙（systemctl disable firewalld）

二、安装jdk

1. 配置免密登录
   ps: 先配置，单机时就要先配置，不要等集群的时候再配置，不然免密登录会让乱的怀疑人生

ssh-keygen -t rsa -P ""  
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

2. 配置单机的hosts hostname
3. 解压安装包
   — 安装包新建了一个文件夹单独放的，可自行定义安装路径，但是要确保安装路径与配置的环境变量那边的路径要一致

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/
tar -zxf jdk-8u221-linux-x64.tar.gz -C /opt/
tar -zxf zookeeper-3.4.6.tar.gz -C /opt/
tar -xf hadoop-native-64-2.6.0.tar -C /opt/hadoop-2.6.0-cdh5.14.2/lib/native/

改别名—此步不是必要步骤，但是改了的话要与环境变量那边的名称一致

mv hadoop-2.6.0-cdh5.14.2/ hadoop
mv jdk1.8.0_221/ jdk8
mv zookeeper-3.4.6/ zookpr

4. 配置环境变量

vi /etc/profile
//shift+g 定位到最后一行，输入
export JAVA_HOME=/opt/jdk8
export JRE_HOME=/opt/jdk8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/hadoop
export HBASE_HOME=/opt/hbase
export HIVE_HOME=/opt/hive
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib":$HADOOP_HOME/lib/native
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin
//有多配置的文件路径，可自行增删
//保存退出
//输入,使得环境变量生效
source /etc/profile

5. 验证环境变量

javac
java -version

java 安装成功才能进入下面的Hadoop高可用集群的搭建,不然做了也是白搭

三、hadoop高可用集群的单机配置(三台)

进入hadoop安装目录下etc目录下的hadoop
也可以切目录，vi 时就要带上路径

1. slaves的配置

vi slaves 
//配置slaves,这边配置的是
hadoop1
hadoop2
hadoop3

2. 修改hosts和hostname

vi /etc/hostname
vi /etc/hosts
//可提前将接入集群的机器配置进去，这边是先配置的单机，不会启用

3. java的安装目录

vi hadoop-env.sh

4. core-site.xml
   configuration中增加如下内容

<configuration>
     <property>
     <!--namenode集群-->
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
    <!--hadoop存放文件的路径-->
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
    <property>
    <!--zookeeper集群-->
       <name>ha.zookeeper.quorum</name>
       <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
    </property>
    <property>
    <!--登录集群的权限，任何用户任何群组都可以登录-->
       <name>hadoop.proxyuser.root.hosts</name>
       <value>*</value>
    </property>
    <property>
       <name>hadoop.proxyuser.root.groups</name>
       <value>*</value>
    </property>
</configuration>

5. hdfs-site.xml

<configuration>
     <property>
     <!--namenode集群名，要与core-site里面的名字要一致-->
         <name>dfs.nameservices</name>
         <value>mycluster</value>
     </property>
     <property>
     <!--集群里面有几个机器，nn1，nn2 namenode别名可以随便取，但是要与下面的名字一致-->
         <name>dfs.ha.namenodes.mycluster</name>
         <value>nn1,nn2</value>
     </property>
     <property>
     <!--第三方应用程序的接口：9000-->
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop1:9000</value>
     </property>
     <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop2:9000</value>
     </property>
     <property>
     <!--web接口：50070-->
         <name>dfs.namenode.http-address.mycluster.nn1</name>
         <value>hadoop1:50070</value>
     </property>
     <property>
         <name>dfs.namenode.http-address.mycluster.nn2</name>
         <value>hadoop2:50070</value>
     </property>
     <property>
     <!--配置journal节点，zookeeper记录namanode的journalnode的位置-->
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/mycluster</value>
     </property>
     <property>
     <!--将私钥放到hadoop下面，保证hadoop直接可以相互访问-->
         <name>dfs.ha.fencing.methods</name>
         <value>sshfence</value>
    </property>
    <property>
         <name>dfs.ha.fencing.ssh.private-key-files</name>
         <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
    <!--journalnode自身信息记录的地方-->
         <name>dfs.journalnode.edits.dir</name>
         <value>/opt/hadoop/data/jn</value>
    </property>
    <property>
    <!--权限验证，前面指定了root,设置之后可以使其他非root用户有权限登录-->
         <name>dfs.permissions.enable</name>
         <value>false</value>
    </property>
    <property>
    <!--报警信息-->
         <name>dfs.client.failover.proxy.provider.mycluster</name>
         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
    <!--集群内机器数量-->
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
    <!--secondarynamenode-->
       <name>dfs.namenode.secondary.http-address</name>
       <value>hadoop3:50090</value>
   </property>
   <property>
   <!--自动转移设置-->
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>
   </property>
</configuration>

6. yarn-site.xml

<configuration>
      <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
      </property>
      <property>
      <!--开启高可用集群-->
           <name>yarn.resourcemanager.ha.enabled</name>
           <value>true</value>
      </property>
      <property>
      <!--cluster-id-集群名字-->
           <name>yarn.resourcemanager.cluster-id</name>
           <value>cluster-yarn1</value>
      </property>
      <property>
           <name>yarn.resourcemanager.ha.rm-ids</name>
           <value>rm1,rm2</value>
      </property>
      <property>
           <name>yarn.resourcemanager.hostname.rm1</name>
           <value>hadoop1</value>
      </property>
      <property>
           <name>yarn.resourcemanager.hostname.rm2</name>
           <value>hadoop2</value>
      </property>
      <property>
           <name>yarn.resourcemanager.zk-address</name>
           <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
      </property>
      <property>
           <name>yarn.resourcemanager.recovery.enabled</name>
           <value>true</value>
      </property>
      <property>
           <name>yarn.resourcemanager.store.class</name>
           <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
      </property>
</configuration>

7. mapred-site.xml
   ps:这边需要给mapre改个名字。这边是改过之后的

<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>
   <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
   </property>
   <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:19888</value>
   </property>
</configuration>

到这边单机的配置文件就好了

四、配置zookeeper

1. zoo.cfg
   zookeeper安装目录下
   mv conf/zoo…cfg conf/zoo.cfg

maxClientCnxns=0
initLimit=50
dataDir=/opt/hadoop/zookeeperdata //文件存放地点，自定义，没有的话需要新建
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

2. zookeeperdata
   vi /opt/hadoop/zookeeperdata/myid
   里面的内容要：主机配置的，上面配置的server 1\2\3 一一对应

保存退出，并关闭虚拟机

五、配置集群

关闭原虚拟机，克隆虚拟机（完全克隆）
修改ip地址、重新生成虚拟机mac地址
修改主机名
检查hostname和hosts
重启网络

六、测试连接

1、测试hadoop
------在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务：
hadoop-daemon.sh start journalnode —三个机器
------在[nn1]上，对其进行格式化，并启动：
hdfs namenode -format --两个namenode节点
hadoop-daemon.sh start namenode
------在[nn2]上，同步 nn1 的元数据信息：
hdfs namenode -bootstrapStandby
------启动[nn2]：
hadoop-daemon.sh start namenode
------在[nn1]上，启动所有 datanode
hadoop-daemons.sh start datanode
------将[nn1]切换为 Active
hdfs haadmin -transitionToActive nn1
------查看是否 Active----可有可无
hdfs haadmin -getServiceState nn1
jps查看启动进程
namenode\datanode\resourcenode\secondarynamenode 四个一定要有
2、测试zookeeper以及Hadoop集群的
-------关闭所有 HDFS 服务：
stop-dfs.sh
-------启动 Zookeeper 集群
./bin/zkServer.sh start —三个机器都要
-------初始化 HA 在 Zookeeper 中状态：
hdfs zkfc -formatZK —namenode节点 2个
-------启动 HDFS 服务：
start-dfs.sh
---------启动 yarn
hadoop1 start-yarn.sh
hadoop2 yarn-daemon.sh start resourcemanager
查看服务状态 yarn rmadmin -getServiceState rm1
3.切换namenode
（1）将 Active NameNode 进程 kill
kill -9 namenode 的进程 id
（2）将 Active NameNode 机器断开网络
service network stop
会发现终止active的node节点不能自动切换
需要安装一个配置
yum install psmisc —安装配置
安装完成之后当活跃namenode宕机时自动切换其他namenode

进程展示如下