hadoop集群虚拟机布置教程

1 搭建多集群平台

1.1 最小镜像下载

参考简书博文

1.2 在Workstation中安装ubuntu系统

参考这里

1.3 安装secureCRT

参考这里

1.4 本机SecureCRT连接

参考这里

1.5 修改本机名称

>sudo vim /etc/hostname

1.6 为集群主机配置ip映射

>sudo vim /etc/hosts

• 删除

127.0.0.1 localhost

• 一行， 按照

192.168.118.137 host-name

• 的格式将集群中主机名添加至列表中

2 ZooKeeper集群搭建

2.1 下载相应文件

1. 注意：虚拟机中需要安装

> openjdk-9-jre-headless
> openjdk-9-headless
> openssh-server

2. 建立新的文件夹，将zookeeper压缩包解压至相应文件夹

> sudo mkdir /opt/module
> sudo tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /opt/module

2.2 文件配置

1. 创立zoo.cfg文件

> cd /conf
opt/module/aoache-zookeeper-3.6.2-bin> sudo mv zoo_sample.cfg zoo.cfg

2. 建立zkData文件夹(用于盛放myid文件)

opt/module/aoache-zookeeper-3.6.2-bin> mkdir zkData

3. 修改zoo.cfg中dataDir内容为opt/module/aoache-zookeeper-3.6.2-bin/zkData
4. 在zkData文件夹中添加myid文件

opt/module/aoache-zookeeper-3.6.2-bin/zkData> cat [server-number] myid

5. 添加各节点信息

opt/module/aoache-zookeeper-3.6.2-bin/conf> sudo vim zoo.cfg

打开文件后，在文件末尾添加

server.[server-number]=[server-hostname]:[server-portname]:[voting-number]
server.1=hadoop001:2888:3888

2.3 启动/查看/关闭

1. 启动

opt/module/aoache-zookeeper-3.6.2-bin> sudo bin/zkServer.sh start
opt/module/aoache-zookeeper-3.6.2-bin> sudo bin/zkServer.sh start-foreground

若报错no managemet.properties文件，进行如下操作：

> cd /usr/lib/jvm/java-9-openjdk-amd64
> sudo ln -s lib conf

2. 查看

opt/module/aoache-zookeeper-3.6.2-bin> sudo bin/zkServer.sh status

3. 关闭

opt/module/aoache-zookeeper-3.6.2-bin> sudo bin/zkServer.sh stop