集群搭建--搭建hadoop2.7.7集群(三台)

集群规划

下载相应资源包

下载hadoop的路径

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

下载zookeeper的路径

https://www.apache.org/dist/zookeeper/zookeeper-3.4.14/

下载jdk8的路径

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

安装jdk

解压 jdk 到 modules 目录

tar -zxvf  jdk-8u201-linux-x64.tar.gz -C /usr/local/modules

修改jdk的环境变量

vi /etc/profile

在文件最下部分添加

JAVA_HOME=/user/local/modeules/jdk1.8.0_201   (jdk所在的路径,可以在所在目录下 pwd查看路径)

在PATH后面添加  $JAVA_HOME/bin:

执行下面命令生效

source /etc/profile

查看

java -version

ZooKeeper集群搭建

 

tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/modules/

然后进入/usr/local/modules/zookeeper-3.4.10/conf目录

mv zoo_sample.cfg zoo.cfg

vim zoo.cfg

在 /usr/local/modules/zookeeper-3.4.10 目录下 创建data目录

mkdir data

在data目录下创建 myid   并

vi myid

192.168.32.130 对应的内容  0

192.168.32.131 对应的内容  1

192.168.32.132 对应的内容  2

如下图  192.168.32.130 对应的内容

三台服务器都需要安装zookeeper

scp -r zookeeper-3.4.10/ hadoop@192.168.32.131:/usr/local/modules/

scp -r zookeeper-3.4.10/ hadoop@192.168.32.132:/usr/local/modules/

配置zookeeper的环境变量

vi /etc/profile

export ZOOKEEPER_HOME=/usr/local/modules/zookeeper-3.4.10/

PATH后添加     $ZOOKEEPER_HOME/bin:

最后执行 source /etc/profile

启动zookeeper    

zkServer.sh start（三台服务器执行）

zkServer.sh status 查看zookeeper的状态

下图是三台zookeeper的状态

zookkeper集群搭建好了后,下面就配置hadoop集群

配置hadoop集群

解压hadoop压缩包

tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/modules/

配置hadoop环境变量

export HADOOP_HOME=/usr/local/modules/hadoop-2.7.7

export HADOOP_CONF_DIR=/usr/local/modules/hadoop-2.7.7/etc/hadoop

执行下面命令是修改生效

source /etc/profile

配置 hadoop-env.sh 文件

vim  /usr/local/modules/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改JAVA_HOME

配置yarn-env.sh 文件

vim  /usr/local/modules/hadoop-2.7.7/etc/hadoop/yarn-env.sh

配置 core-site.xml 文件

<configuration>
        <!--用来指定hdfs的老大，ns为固定属性名，表示两个namenode -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns</value>
        </property>
        <!--用来指定hadoop运行时产生的存放目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/modules/hadoop-2.7.7/tmp</value>
        </property>
        <!--流文件的缓冲区单位KB-->
        <property>
                <name>io.file.buffer.size</name>
                <value>4096</value>
        </property>
        <!--执行zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>spark1:2181,spark2:2181,spark3:2181</value>
        </property>
</configuration>

配置hdfs-site.xml

<configuration>
    <!--执行hdfs的nameservice为ns,和core-site.xml保持一致-->
    <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
    </property>

    <!--ns下有两个namenode,分别是nn1,nn2-->
    <property>
        <name>dfs.ha.namenodes.ns</name>
        <value>nn1,nn2</value>
    </property>
    
    <!--nn1的RPC通信地址-->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn1</name>
        <value>spark1:9000</value>
    </property>
        <!--nn1的http通信地址-->
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>spark1:50070</value>
    </property>
    <!--nn2的RPC通信地址-->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>spark2:9000</value>
    </property>
    <!--nn2的http通信地址-->
    <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>spark2:50070</value>
    </property>
    <!--指定namenode的元数据在JournalNode上的存放位置,这样，namenode2可以 从jn集群里获取
最新的namenode的信息，达到热备的效果-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://spark1:8485;spark2:8485;spark3:8485/ns</value>
    </property>
    <!--指定JournalNode存放数据的位置-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/modules/hadoop-2.7.7/journal</value>
    </property>
    <!--开启 namenode 故障时自动切换-->
    <property>
        <name>dfs.ha.automatic-failover.enabled.ns</name>
        <value>true</value>
    </property>
    <!--配置切换的实现方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.ns</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!--配置隔离机制-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <!--配置隔离机制的ssh登录秘钥所在的位置-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <!--配置namenode数据存放的位置,可以不配置，如果不配置，默认用的是core-site.xml里配置的hadoop.tmp.dir的路径-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/modules/hadoop-2.7.7/tmp/namenode</value>
    </property>
    <!--配置datanode数据存放的位置,可以不配置，如果不配置，默认用的是core-site.xml里配置的hadoop.tmp.dir的路径-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/modules/hadoop-2.7.7/tmp/datanode</value>
    </property>
    <!--配置block副本数量-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--设置 hdfs 的操作权限， false 表示任何用户都可以在 hdfs 上操作文件-->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

配置 mapred-site.xml 文件

<configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置 yarn-site.xml 文件

<configuration>

<!-- Site specific YARN configuration properties -->
    <!--开启YARN HA -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--指定两个 resourcemanager 的名称-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!--配置rm1，rm2的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>spark3</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>spark2</value>
    </property>
        <!--开启yarn恢复机制-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--配置zookeeper的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>spark1:2181,spark2:2181,spark3:2181</value>
        <description>For multiple zk services, separate them with comma</description>
    </property>
        <!--指定YARN HA的名称-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-ha</value>
    </property>
    <property>
    <!--指定yarn的老大resoucemanager的地址-->
        <name>yarn.resourcemanager.hostname</name>
        <value>spark1</value>
    </property>
    <!--NodeManager 获取数据的方式-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

配置 slaves 文件

创建配置目录

根据配置文件，创建相关的文件夹，用来存放对应数据

在   /usr/local/modules/hadoop-2.7.7/下创建 tmp目录

mkdir tmp

在   /usr/local/modules/hadoop-2.7.7/ 下创建 journal

mkdir journal

在   /usr/local/modules/hadoop-2.7.7/tmp 下创建 namenode 和dataname

mkdir namenode

mkdir datanode

通过scp 命令 将hadoop传给另外两台服务器

scp -r hadoop-2.7.7/ hadoop@spark2:/usr/local/modules/

scp -r hadoop-2.7.7/ hadoop@spark3:/usr/local/modules/

在spark2 和spark3也配置 HADOOP_HOME 和 HADOOP_CONF_DIR 的环境变量

启动进程

 注: 初始化启动命令和之后启动的命令是不同的，要按照下面的顺序执行,之后的命令就容易多了

1、首先启动各个节点的Zookeeper，在各个节点上执行以下命令：

bin/zkServer.sh start

2、在某一个namenode节点执行如下命令，创建命名空间

hdfs zkfc -formatZK

3、在每个journalnode节点用如下命令启动journalnode

sbin/hadoop-daemon.sh start journalnode

4、在主namenode节点格式化namenode和journalnode目录

hdfs namenode -format ns

5、在主namenode节点启动namenode进程

sbin/hadoop-daemon.sh start namenode

6、在备namenode节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！

hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode

7、在两个namenode节点都执行以下命令

sbin/hadoop-daemon.sh start zkfc

8、在所有datanode节点都执行以下命令启动datanode

sbin/hadoop-daemon.sh start datanode

spark1的进程

spark2的进程

spark3的进程

9、启动yarn的resourcemanager的进程

在spark3上启动resourcemanager

./yarn-daemon.sh start resourcemanager

在spark2上启动resourcemanager

./yarn-daemon.sh start resourcemanager

在三台服务器上启动nodemanager

 ./yarn-daemon.sh start nodemanager

spark1的进程

spark2的进程

spark3的进程

可以查看resourcemanager的主从

yarn rmadmin -getServiceState rm1

yarn rmadmin -getServiceState rm2

到此为止hadoop的配置就OK了

 

 

注：

我为了测试yarn的HA，将spark3的resourcemanager kill 了,所以上图yarn的active是spark2

 

之后重启集群可以用下面命令 

在spark1上执行

start-dfs.sh

在spark1和spark2上执行

sbin/hadoop-daemon.sh start zkfc

在spark2上执行(由于spark3的免密登录有点问题,所以在spark2上启动的)

start-yarn.sh 

在spark3上单独启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

如果想spark3的resourcemanager为active 把spark2的resourcemanager重启一下就行了

日常启停命令

start-all.sh

start-dfs.sh

start-yarn.sh

stop-all.sh

stop-dfs.sh

stop-yarn.sh