Hadoop2.8HA安装部署

原创 2017年04月07日 01:00:35

Hadoop 2.8 HA集群安装部署

环境:

```
系统:CentOS7
Hadoop版本:2.8(支持snappy压缩)
ip:
    192.170.18.205  namenode01
    192.170.18.206  namenode02
    192.170.18.207  datanode01
    192.170.18.208  datanode02
    192.170.18.209  datanode03
```
集群规划:
        主机名     IP              安装的软件                   运行的进程
    namenode01  192.170.18.205  jdk、hadoop                  NameNode、DFSZKFailoverController(zkfc)
    namenode02  192.170.18.206  jdk、hadoop                  NameNode、DFSZKFailoverController(zkfc)  
    datanode01  192.170.18.207  jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
    datanode02  192.170.18.208  jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain
    datanode03  192.170.18.209  jdk、hadoop、zookeeper        DataNode、NodeManager、JournalNode、QuorumPeerMain

1.JDK安装

卸载:yum remove java-1.8.0-openjdk*
    yum remove java-1.7.0-openjdk*     //如果不是mini版本,可能系统自带的有.强迫症..还是自己配置的以后升级调整方便..
解压:tar -zxvf jdkxxxx.tar.gz
删除:rm -rf jdkxxxx.tar.gz  //强迫症.
修改:mv jdk1.xxx jdk
配置:vim /etc/profile
    追加:export JAVA_HOME=/usr/jdk
        export PATH=$PATH:$JAVA_HOME/bin
        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    保存退出
    source /etc/profile
验证:java -version

2.SSH配置

为了方便集群直接通信连接方便,配置ssh是必要的

分别在各个集群上执行:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

这里写图片描述
提示此图,则证明ssh生成成功

将各个节点(机器)上的/root/.ssh/id_dsa.pub文件集中到一台机器上(在此将所有集群上公钥发送到namenode01上):
scp -r /root/.ssh/id_dsa.pub namenode01:/root/.ssh/id_dsa.pub.x

这里写图片描述

将所有公钥配置到authorized_keys中: cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

这里写图片描述
此时authorized_keys有5把公钥了,这时再用ssh ip访问其他机器时会提示你输入一次密码(这一次输入后,会将访问信息记录到known_hosts中),以后就不再提示输入密码了..开心不?
用ssh把各台机器访问一次!

scp -r /root/.ssh/authorized_keys /root/.ssh/known_hosts 其他机器ip:/root/.ssh/

这里写图片描述
此时你在用其他机器访问各台机器,不提示输入密码了!!惊讶!!

3.Zookeeper安装

3.1解压配置

解压到 :/opt/下
修改文件名为zookeeper
cd /opt/zookeeper/conf
mv zoo_sample.cfg  zoo.cfg
vim zoo.cfg

这里写图片描述

创建文件夹: mkdir -p /data/zookeeper
进入:cd /data/zookeeper
创建文件:vim myid
添加内容:1  //只要是数字(>0)即可,各个zookeeper节点的数字要不一样
保存
分发zookeeper文件到各个节点上

这里写图片描述

配置环境变量:
    vim /etc/profile
追加内容:
    export ZK_HOME=/opt/zookeeper
    export PATH=$PATH:$ZK_HOME/bin
  保存
  source /etc/profile

这里写图片描述
在各个节点上启动zookeeper

启动: zkServer.sh start
查看状态: zkServer.sh status

这里写图片描述
这里写图片描述
这里写图片描述
可看到只有一台机器状态是leader,其他的都是follower
在此 zookeeper部署安装成功

4.安装Hadoop

    解压:tar -zxvf hadoop-2.8.0.tar.gz 
    进入:cd hadoop-2.8.0/
    除杂:rm -rf NOTICE.txt README.txt LICENSE.txt
    配置:
        cd etc/hadoop/
        vim core-site.xml

这里写图片描述

        vim hdfs-site.xml 

这里写图片描述

touch datanode-allow.list
vim datanode-allow.list
    将上线的datanode的hostname配置进去
touch datanode-deny.list
vim datanode-deny.list
    将下线的datanode的hostname配置进去

这里写图片描述

vim slaves
    将datanode的hostname配置进去

这里写图片描述

vim hadoop-env.sh
    配置JAVA_HOME的环境变量

这里写图片描述

分发hadoop2.8.0文件到各个节点

这里写图片描述

配置环境变量
    vim /etc/profile
    追加:
        HADOOP_HOME=/opt/hadoop-2.8.0
        PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    保存
    source /etc/profile

至此hdfs的简单配置结束了
下面就是格式化,启动了..你准备好了吗?

1).在datanode的三个节点(datanode01,datanode02,datanode02)上启动journalnode

hadoop-daemon.sh start journalnode

2).格式化HDFS
在namenode01执行

hdfs namenode -format
hadoop-daemon.sh start namenode

在namenode02执行

hdfs namenode -bootstrapStandby

在namenode01执行

hadoop-daemon.sh stop namenode

3).格式化ZKFS
在namenode01执行:

hdfs zkfc -formatZK

4).启动HDFS:
在namenode01执行:

start-dfs.sh

这里写图片描述
访问http://namenode01:50070或者http://namenode02:50070
这里写图片描述
这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

centos7+hadoop 2.8 的多节点集群搭建

1、集群IP 192.168.2.218  hadoop-slave-1 192.168.2.4 hadoop-master 2、java 选用自带的java 1.7.0. openjdk 关...

hadoop学习之hadoop2.8.0完全分布式集群安装

转载自:http://blog.csdn.net/peace1213/article/details/51334508 本文主要讲解Hadoop完全分布式的搭建,使用vm建立三个相同配置的...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Had...

Hadoop安装教程_单机/伪分布式配置_Hadoop2.8.0/Ubuntu16

参照Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04(http://www.powerxing.com/install-hadoop/)完成hadoop的安装,...

Hadoop2.8 安装心得

一、安装jdk,安装hadoop以及配置ssh无密码登录的过程就跳过了,这部分可以参考《细细品味hadoop》来进行             区别在于,细细品味是以1.x为标杆编写的。 &#...

Centos7安装Hadoop2.8步骤

第一步,准备3台机器或虚拟机,分别作为hadoop安装集群的master和2个slave。 3台机器安装好JDK,并配置好JAVA_HOME(请参考《Centos7安装Oracle JDK》)。然后在...

安装hadoop遇到的问题

安装hadoop不得不说费了很大功夫,找了很多资料。遇到的一些问题做个汇总。 提示错误:命令 'ls' 可在 '/bin/ls' 处找到 由于/bin 不在PATH 环境变量中,故无法找到该命 1....

hadoop2.8.0 安装与环境搭建

推荐:点击打开链接

在hadoop2.8的HA+zookeeper的环境下安装分布式HBase 1.2.5 以及HMaster的高可用(HA)

书接上回http://write.blog.csdn.net/postedit http://write.blog.csdn.net/postedit 在上次我们搭建了hadoop2.8的高可用N...

Hadoop2.x HA(High Avalability,高可用性) 安装部署

1. 准备服务器(我用的是Centos 6.x) 服务器:192.168.0.20   运行服务:active NameNode, ResourceManager   服务器:192.168.0.21...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)