Hadoop，Zookeeper、Kafka简单集群搭建

最新推荐文章于 2023-04-11 15:38:59 发布

阿拉吴悠

最新推荐文章于 2023-04-11 15:38:59 发布

阅读量651

点赞数 6

文章标签： hadoop kafka zookeeper

本文链接：https://blog.csdn.net/weixin_47994250/article/details/106527155

版权

本文详细介绍了如何在虚拟机环境下搭建Hadoop、Zookeeper和Kafka的简单集群。从创建虚拟机、配置网络环境，到配置免密登录，再到上传安装包并使用rsync脚本传输文件。接着，依次安装和配置JDK、Hadoop、Zookeeper和Kafka，包括修改配置文件、启动服务，以及编写脚本自动化操作。最后，通过showJps脚本验证所有服务成功启动。

摘要由CSDN通过智能技术生成

搭建hadoop、zookeeper、kafka集群

1. 创建虚拟机

因为配置有限，这里我只创建3台虚拟机，配置足够的话可以创建多台或者使用多台搭载linux系统的服务器,这里只放部分虚拟机创建图.
新建虚拟机图1
在这里插入图片描述

后面就按需求修改下或者直接暴力下一步就能完成。
最后开机这样就行了

2. 配置网络环境

首先对jerry1进行网络配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

进去后进行修改和添加，修改ONBOOT为yes，增加底下的ip和网关、子网掩码等信息。
修改或者新增选项

修改下hostname

hostnamectl set-hostname jerry1

修改下hosts

因为我们是一个集群3台机器一共，所以这里添加3条包括本机和另外两台机器的ip和hostname,为后面铺垫。

vi /etc/hosts

host新增项

关闭一下防火墙

systemctl stop firewalld
systemctl disable firewalld

我们重启下网络

ping一下百度试试，看网通了没有

systemctl restart network.service

网络正确配置了

对jerry2，jerry3也进行上述操作。

3. 对各主机进行免密验证配置

现在jerry1做一下免密验证

直接cd ~ 命令进入root目录,输入一下命令,中间让你输入key不用管，直接Enter。

ssh-keygen -t rsa -P ""

然后会产生有一个.ssh文件夹，直接cd进去,写入秘钥

cd ./ssh/
cat id_rsa.pub >> ./authorized_keys

同文件夹下，再做对jerry2，jerry3的免密验证配置,中间输入一下yes和jerry2和jerry3的密码。

ssh-copy-id -i ./id_rsa.pub -p22 root@jerry2
ssh-copy-id -i ./id_rsa.pub -p22 root@jerry3

同样的对jerry2，jerry3做同样的上述操作，记得换下名字。

4. 上传需要安装的jdk，hadoop，zookeeper，kafka安装包

这里我使用xftp上传安装包，先建立连接

在这里插入图片描述

上传文件

先建立install文件夹

cd /opt
mkdir install
mkdir bigdata

然后将文件上传至install文件夹
在这里插入图片描述

5. 编写用于虚拟机之间传输文件的脚本

先进入root目录,创建bin文件夹，并进入，创建脚本文件并打开

cd ~
mkdir bin
cd bin
touch xrsync
vi xrsync

编写脚本文件

#!/bin/bash
# 作用于文件传输

#1 获取输入参数个数，如果没有参数，退出
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi

#2 获取文件名
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录的绝对路径
pdir=`cd -P $(dirname $p1);pwd`
echo pdir=$pdir

#4 获取当前用户名字
user=`whoami`

#5 将文件拷贝到目标机器
for host in jerry1 jerry2 jerry3
do
    echo ------------- $host ---------------
    rsync -av $pdir/$fname $user@$host:$pdir
done

修改下xrsync脚本的权限

chmod 777 xrsync

安装下rsync

yum -y install rsync

执行脚本传输文件，就可以成功了。

[root@jerry1 .ssh]# xrsync /opt/install/
fname=install
pdir=/opt
-------------- jerry1 --------------------
sending incremental file list

sent 238 bytes  received 17 bytes  510.00 bytes/sec
total size is 705,821,684  speedup is 2,767,928.17
-------------- jerry2 --------------------
sending incremental file list
install/
install/hadoop-2.6.0-cdh5.14.2.tar.gz
install/jdk-8u111-linux-x64.tar.gz
install/kafka_2.11-2.0.0.tgz
install/zookeeper-3.4.5-cdh5.14.2.tar.gz

sent 705,994,397 bytes  received 96 bytes  94,132,599.07 bytes/sec
total size is 705,821,684  speedup is 1.00
-------------- jerry3 ---