用虚拟机安装、启动、停用hadoop2.6.0（实现hdfsHA和ResourceManagerHA）步骤小记

最新推荐文章于 2024-08-11 16:36:35 发布

益州牧

最新推荐文章于 2024-08-11 16:36:35 发布

阅读量783

点赞数 1

分类专栏： hadoop 文章标签： hadoop yarn hdfs 虚拟机 zookeeper

本文链接：https://blog.csdn.net/nnaxmy/article/details/46716683

版权

本文详细记录了在虚拟机上安装Hadoop2.6.0的过程，包括配置HDFS高可用（HA）和ResourceManager HA，涉及关闭防火墙、安装JDK、配置SSH无密码登录、安装Zookeeper等多个步骤。启动时，首先启动Zookeeper，接着初始化ZKFC，启动DFS和YARN。停止时，按照JobHistory Server、YARN、DFS及Zookeeper的顺序依次进行。

摘要由CSDN通过智能技术生成

安装：
1.安装linux系统
2.关闭系统防火墙（root）
3.安装jdk，并配置相应的环境变量（root）
4.规划集群的网络，并配置/etc/hosts文件来建立主机名和ip的映射（root）
5.创建用户及用户组，比如用户名和用户组均为hadoop（root）
6.配置ssh无密码登录（hadoop），并配置/etc/ssh/sshd_config（root）
7.在etc/sudoers中为hadoop用户配置相应权限方便日后操作
8.解压hadoop2.6.0并改名为hadoop2（hadoop），配置/etc/profile并使之生效（root）
9.更改hadoop2的配置文件（包括yarn-env.sh）（hadoop）
10.创建配置文件中用到的本地目录(包括/tmp/logs)，权限为755，mkdir -m 755 xxx （hadoop）
（11.把所有主机之间的ssh登录调通）
（若要实现automatic-failover以及resourcemanager的HA特性还需要在其中3台主机安装Zookeeper）

--------------------------------------------------------------------------------
启动：
1.启动Zookeeper:在3台主机上分别执行zkServer.sh start
2.初始化z