Hadoop2.8HA安装部署

原创 2017年04月07日 01:00:35

Hadoop 2.8 HA集群安装部署

环境:

```
系统:CentOS7
Hadoop版本:2.8(支持snappy压缩)
ip:
    192.170.18.205  namenode01
    192.170.18.206  namenode02
    192.170.18.207  datanode01
    192.170.18.208  datanode02
    192.170.18.209  datanode03
```
集群规划:
        主机名     IP              安装的软件                   运行的进程
    namenode01  192.170.18.205  jdk、hadoop                  NameNode、DFSZKFailoverController(zkfc)
    namenode02  192.170.18.206  jdk、hadoop                  NameNode、DFSZKFailoverController(zkfc)  
    datanode01  192.170.18.207  jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
    datanode02  192.170.18.208  jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
    datanode03  192.170.18.209  jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain

1.JDK安装

卸载:yum remove java-1.8.0-openjdk*
    yum remove java-1.7.0-openjdk*     //如果不是mini版本,可能系统自带的有.强迫症..还是自己配置的以后升级调整方便..
解压:tar -zxvf jdkxxxx.tar.gz
删除:rm -rf jdkxxxx.tar.gz  //强迫症.
修改:mv jdk1.xxx jdk
配置:vim /etc/profile
    追加:export JAVA_HOME=/usr/jdk
        export PATH=$PATH:$JAVA_HOME/bin
        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    保存退出
    source /etc/profile
验证:java -version

2.SSH配置

为了方便集群直接通信连接方便,配置ssh是必要的

分别在各个集群上执行:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

这里写图片描述
提示此图,则证明ssh生成成功

将各个节点(机器)上的/root/.ssh/id_dsa.pub文件集中到一台机器上(在此将所有集群上公钥发送到namenode01上):
scp -r /root/.ssh/id_dsa.pub namenode01:/root/.ssh/id_dsa.pub.x

这里写图片描述

将所有公钥配置到authorized_keys中: cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

这里写图片描述
此时authorized_keys有5把公钥了,这时再用ssh ip访问其他机器时会提示你输入一次密码(这一次输入后,会将访问信息记录到known_hosts中),以后就不再提示输入密码了..开心不?
用ssh把各台机器访问一次!

scp -r /root/.ssh/authorized_keys /root/.ssh/known_hosts 其他机器ip:/root/.ssh/

这里写图片描述
此时你在用其他机器访问各台机器,不提示输入密码了!!惊讶!!

3.Zookeeper安装

3.1解压配置

解压到 :/opt/下
修改文件名为zookeeper
cd /opt/zookeeper/conf
mv zoo_sample.cfg  zoo.cfg
vim zoo.cfg

这里写图片描述

创建文件夹: mkdir -p /data/zookeeper
进入:cd /data/zookeeper
创建文件:vim myid
添加内容:1  //只要是数字(>0)即可,各个zookeeper节点的数字要不一样
保存
分发zookeeper文件到各个节点上

这里写图片描述

配置环境变量:
    vim /etc/profile
追加内容:
    export ZK_HOME=/opt/zookeeper
    export PATH=$PATH:$ZK_HOME/bin
  保存
  source /etc/profile

这里写图片描述
在各个节点上启动zookeeper

启动: zkServer.sh start
查看状态: zkServer.sh status

这里写图片描述
这里写图片描述
这里写图片描述
可看到只有一台机器状态是leader,其他的都是follower
在此 zookeeper部署安装成功

4.安装Hadoop

    解压:tar -zxvf hadoop-2.8.0.tar.gz 
    进入:cd hadoop-2.8.0/
    除杂:rm -rf NOTICE.txt README.txt LICENSE.txt
    配置:
        cd etc/hadoop/
        vim core-site.xml

这里写图片描述

        vim hdfs-site.xml 

这里写图片描述

touch datanode-allow.list
vim datanode-allow.list
    将上线的datanode的hostname配置进去
touch datanode-deny.list
vim datanode-deny.list
    将下线的datanode的hostname配置进去

这里写图片描述

vim slaves
    将datanode的hostname配置进去

这里写图片描述

vim hadoop-env.sh
    配置JAVA_HOME的环境变量

这里写图片描述

分发hadoop2.8.0文件到各个节点

这里写图片描述

配置环境变量
    vim /etc/profile
    追加:
        HADOOP_HOME=/opt/hadoop-2.8.0
        PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    保存
    source /etc/profile

至此hdfs的简单配置结束了
下面就是格式化,启动了..你准备好了吗?

1).在datanode的三个节点(datanode01,datanode02,datanode02)上启动journalnode

hadoop-daemon.sh start journalnode

2).格式化HDFS
在namenode01执行

hdfs namenode -format
hadoop-daemon.sh start namenode

在namenode02执行

hdfs namenode -bootstrapStandby

在namenode01执行

hadoop-daemon.sh stop namenode

3).格式化ZKFS
在namenode01执行:

hdfs zkfc -formatZK

4).启动HDFS:
在namenode01执行:

start-dfs.sh

这里写图片描述
访问http://namenode01:50070或者http://namenode02:50070
这里写图片描述
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

在hadoop2.8的HA+zookeeper的环境下安装分布式HBase 1.2.5 以及HMaster的高可用(HA)

书接上回http://write.blog.csdn.net/postedit http://write.blog.csdn.net/postedit 在上次我们搭建了hadoop2.8的高可用N...
  • darkdragonking
  • darkdragonking
  • 2017年06月07日 17:32
  • 1607

hadoop学习之hadoop2.8.0完全分布式集群安装

转载自:http://blog.csdn.net/peace1213/article/details/51334508 本文主要讲解Hadoop完全分布式的搭建,使用vm建立三个相同配置的...
  • Happy_wu
  • Happy_wu
  • 2017年04月19日 14:28
  • 12520

Hadoop-2.8.0分布式安装手册

目录 目录 1 1. 前言 3 2. 特性介绍 4 3. 部署 5 3.1. 机器列表 6 3.2. 主机名 6 3.2.1. 临时修改主机名 7 3.2.2. 永久修改主机名 7 3.3. 免密码登...
  • Aquester
  • Aquester
  • 2017年04月30日 14:26
  • 3091

Hadoop HA高可用集群搭建(2.7.2)

1.集群规划: 2.前期准备: 3.搭建zookeeper集群(drguo3/drguo4/drguo5)
  • Dr_Guo
  • Dr_Guo
  • 2016年03月24日 22:33
  • 12809

Centos7安装Hadoop2.8步骤

第一步,准备3台机器或虚拟机,分别作为hadoop安装集群的master和2个slave。 3台机器安装好JDK,并配置好JAVA_HOME(请参考《Centos7安装Oracle JDK》)。然后在...
  • zzpzheng
  • zzpzheng
  • 2017年06月23日 11:12
  • 2059

Hadoop2.8.3版本编译

概述通过源码方式maven编译获取(本实验使用源码编译方式)1. 安装前准备1.1 下载HADOOP源码编译软件包与依赖包下载地址[root@hadoop ~]# cd /tmp/ [root@had...
  • binbinjianjian
  • binbinjianjian
  • 2018年01月03日 17:25
  • 70

三台PC服务器部署Hadoop HA(Hadoop 高可用性架构)

写在前边的话:         转载请注明出处:@http://blog.csdn.net/gamer_gyt,Thinkagmer 撰写         之前是在自己电脑上部署的Hado...
  • shuyun123456789
  • shuyun123456789
  • 2016年11月15日 19:03
  • 1169

hadoop2.8.0的搭建

hadoop2.8.0环境搭建介绍我们使用最新的hadoop版本2.8.0来进行hadoop环境的搭建。操作系统环境如下: Ubuntu 14.04 CPU Intel(R) Core(...
  • hongbochen1223
  • hongbochen1223
  • 2017年06月05日 23:13
  • 2871

Hadoop2.8.0 单机搭建和eclipse开发应用配置 新手笔记

记录一下这两天 Hadoop 搭建成功的经验,分享给大家以防同行朋友多走弯路。 1. Hadoop 伪分布式单机搭建 1.1 环境准备 新建一台VMWare 虚拟机 操作系统:RedHat EL ...
  • dengsi19361
  • dengsi19361
  • 2017年07月19日 17:50
  • 1980

Hadoop<集群搭建Centos7.3+Hadoop2.8.0>

本集群搭建于以下软件:VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8....
  • Gpwner
  • Gpwner
  • 2017年05月01日 14:34
  • 3921
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop2.8HA安装部署
举报原因:
原因补充:

(最多只允许输入30个字)