Hadoop HA 集群的搭建(1)

最新推荐文章于 2024-08-25 12:13:51 发布

cyclebozhou

最新推荐文章于 2024-08-25 12:13:51 发布

阅读量763

点赞数 2

分类专栏： hadoop 文章标签： HA

本文链接：https://blog.csdn.net/qq_40359681/article/details/79297480

版权

hadoop 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

搭建准备:

系统:centos6.x
版本:hadoop2.7.4
        jdk1.8
        zookeeper-3.4.5
集群部署节点角色的规划（7节点）
    server01   namenode   zkfc
    server02   namenode   zkfc
    server03   resourcemanager
    server04   resourcemanager
    server05   datanode   nodemanager      zookeeper     journal node
    server06   datanode   nodemanager      zookeeper     journal node 
    server07   datanode   nodemanager      zookeeper     journal node 
环境:
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系 /etc/hosts
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等
7.注意集群时间要同步

安装步骤：
1.安装配置zooekeeper集群
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/
1.2修改配置
cd /home/hadoop/app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/tmp
在最后添加：
server.1=hadoop05:2888:3888
server.2=hadoop06:2888:3888
server.3=hadoop07:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/app/zookeeper-3.4.5/tmp
echo 1 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个hadoop目录：mkdir /hadoop)
scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop07:/home/hadoop/app/

        注意：修改hadoop06、hadoop07对应/hadoop/zookeeper-3.4.5/tmp/myid内容
        hadoop06：
            echo 2 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid
        hadoop07：
            echo 3 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

2.安装配置hadoop集群
2.1解压
tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/app/
2.2配置HDFS（hadoop2.0所有的配置文件都在 $HADOOP_HOME/etc/hadoop目录下） #将hadoop添加到环境变量中 vim /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_55 export HADOOP_HOME=/hadoop/hadoop-2.6.4 export PATH=$ PATH: $JAVA_HOME/cluster1n:$ HADOOP_HOME/cluster1n

        #hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
        cd /home/hadoop/app/hadoop-2.6.4/etc/hadoop

        2.2.1修改hadoop-env.sh
        export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55