zookeeper+hadoop+hbase+kafka伪集群搭建

一、简介

本专题将从环境搭建，各个部分的部分主要代码分析，以及以java语言的实战练习。本次以伪集群环境（单机环境）为作为介绍环境，最后会加上3台机器、5台机器以及7台机器的配置方案。本章节将进行环境搭建，以ubuntu16.04系统为例。

二、安装

1.设置免密登陆

1.1 安装ssh

安装ssh：sudo apt-get install ssh

1.2 启动ssh

启动ssh：systemctl start sshd

1.3 生成密钥对

生成公私密钥：cd ~/ssh-key-gen -t rsa (一直回车)

生成authorized_key文件：scp ~/.ssh/id_rsa.pub localhost:~/.ssh/ 

                                          cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 另外要注意请务必要将服务器上~/.ssh权限设置为700，~/.ssh/authorized_keys的权限设置为600

chmod 700 ~/.ssh/

chmod 600 ~/.ssh/authorized keys

2.关闭防火墙

查看：firewall-cmd --state

关闭：systemctl stop firewalld.service

禁止开机自启：systemctl disable firewalld.service

3.安装JDK

下载地址：https://www.oracle.com/java/technologies/javase-jdk8-downloads.html

3.1.解压jdk包：

tar -zxvf jdk-8u144-linux-x64.tar.gz

3.2.配置环境变量

vi ~/.bashrc

export JAVA_HOME = /home/wang/tools/jdk1.8.0_221

export JRE_HOME = /home/wang/tools/jdk1.8.0_221/jre

export CLASSPATH = .:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export PATH = .:${JAVA_HOME}/bin:$PATH

3.3.生效配置文件

source ~/.bashrc

3.4 查看是否安装成功

java -version，如果出现如图信息则说明安装成功。

4.安装zookeeper

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

4.1 解压zookeeper的压缩包

tar -zxvf zookeeper-3.4.10.tar.gz -C /home/wang/file/tools/zookeeper-3.4.10

4.2 配置文件

4.2.1 复制配置文件模板

cp /home/wang/file/tools/zookeeper-3.4.10/conf/zoo-sample.cfg /home/wang/file/tools/zookeeper-3.4.10/conf/zoo.cfg

4.2.2 配置文件

如果不是集群，只有一台机器，使用默认设置即可

也可对dataLogDir和dataDir进行配置

dataLogDir=/home/wang/file/tools/zookeeper-3.4.10/log

dataDir=/home/wang/file/tools/zookeeper-3.4.10/data

4.3 配置环境变量

vi ~/.bashrc

添加内容：

export ZOOKEEPER_HOME=/home/wang/file/tools/zookeeper-3.4.10

export PATH=$PATH:$ZOOKEEPER_HOME/bin

重启环境变量：

source ~/.bashrc

4.4 启动zookeeper

cd /home/wang/file/tools/zookeeper-3.4.10/bin

./zkServer.sh start

若启动成功，使用jps，如图查看到QuorumPeerMain即zookeeper启动成功。

5 安装hadoop

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/

5.1 解压压缩包

tar -zxvf hadoop-2.7.4.tar.gz  -C /home/wang/file/tools

5.2 修改 core-site.xml 文件

 # vi /home/wang/file/tools/hadoop-2.7.4/etc/hadoop/core-site.xml

-- 在 configuration 节点中添加以下内容

<configuration>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/home/wang/file/tools/hadoop-2.7.4</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>

</configuration>

5.3 修改hdfs-site.xml

 # vi /home/wang/file/tools/hadoop-2.7.4/etc/hadoop/hdfs-site.xml

-- 在 configuration 节点中添加以下内容

<configuration>

      <property>
             <name>dfs.replication</name>
             <value>1</value>
     </property>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/wang/file/tools/hadoop-2.7.4/tmp/dfs/name</value>
     </property>
     <property>
           <name>dfs.datanode.data.dir</name>
           <value>file:/home/wang/file/tools/hadoop-2.7.4/tmp/dfs/data</value>
     </property>

</configuration>

5.4 修改yarn-site.xml

 # vi /home/wang/file/tools/hadoop-2.7.4/etc/hadoop/yarn-site.xml

-- 在 configuration 节点中添加以下内容

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5.5 添加环境变量

vi ~/.bashrc

export HADOOP_HOME=/home/wang/file/tools/hadoop-2.7.4
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效环境变量：source ~/.bashrc

5.6 启动系统

5.6.1 格式化 namenode

./bin/hdfs namenode -format

5.6.2 启动hadoop

./sbin/start.all.sh

5.6.3 验证是否启动成功

若启动成功，使用jps，如图查看到DataNode、SecondaryNameNode、NodeManager、ResourceManager、NameNode即hadoop启动成功

6. 安装HBase

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/

6.1 解压压缩包

# tar -zxvf hbase-1.2.5-bin.star.gz -C /home/wang/file/tools/

mkdir /home/wang/file/tools//hbase-1.2.5-bin/logs

6.2 修改Hbase启动时要使用的环境变量（hbase-env.sh）

vi /home/wang/file/tools/hbase-1.2.5/conf/hbase-env.sh

export JAVA_HOME=/home/wang/file/tools/jdk1.8.0_221
export HBASE_MANAGES_ZK=false

6.3 修改Hbase集群的基本配置信息（hbase-site.xml）

# vim /usr/hbase-1.2.5/conf/hbase-site.xml

-- 在configuration节点下添加如下内容

<!--和core.site.xml的fs.default.name一致-->

<configuration>

        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>

        <property>
                <name>hbase.tmp.dir</name>
                <value>/home/wang/file/tools/hbase-1.3.6/data</value>
        </property>
        <property>
               <name>hbase.cluster.distributed</name>
               <value>true</value>
        </property>

        <property>
                <name>hbase.coprocessor.user.region.classes</name>
                <value>org.locationtech.geomesa.hbase.coprocessor.GeoMesaCoprocessor</value>
        </property>

</configuration>

将hadoop配置文件core.site.xml和hdfs.site.xml复制到conf下

创建文件backup-masters，添加副节点的hostname

6.4 启动hbase

./bin/start-hbase.sh 
若启动成功，使用jps，如图查看到HMaster、HRegionServer即hbase启动成功

7 安装kafka

7.1 解压压缩包

tar -zxvf kafka-2.11-1.0.1-bin.tar.gz  -C /home/wang/file/tools/

mkdir logs

7.2 修改server.properties文件

broker.id=0
delete.topic.enable=true
log.dirs=/home/wang/file/tools/kafka-2.11-1.0.1/logs

7.3 启动kafka

bin/kafka-server-start.sh config/server/properties

后台运行：nohup bin/kafka-server-start.sh config/server.properties& >nohup.out

若启动成功，使用jps，如图查看到Kafka即kafka启动成功

8.总结

本次大数据部件的伪集群搭建到此结束，下一章将进行hadoop的解析。