虚拟机下搭建zookeeper + kafka集群（一）

最新推荐文章于 2023-07-12 19:13:00 发布
最新推荐文章于 2023-07-12 19:13:00 发布
阅读量262 收藏
点赞数
分类专栏： kafka+zookeeper集群 文章标签： kafka zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwg1234wwg1234/article/details/115288880
版权

虚拟机下搭建zookeeper + kafka集群（一）

1.主虚拟机：删掉网卡物理地址和UUID

使用快照快速创建虚拟机
在这里插入图片描述

[root@localhost network-scripts]# cat ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:D3:5C:EC
TYPE=Ethernet
UUID=616a16e9-9f95-4cca-8bfe-c1cf24750ebc
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.57.22
NETMASK=255.255.255.0
GATEWAY=192.168.57.2
DNS1=8.8.8.8
DNS2=8.8.4.4
IPV6INIT=no

1.1.Linux虚拟机修改HOSTNAME
vi /etc/sysconfig/network

克隆的虚拟机网卡物理地址和被克隆的一样，需要删掉网卡，然后reboot重启虚拟机

rm -f /etc/udev/rules.d/70-persistent-net.rules

改ip重启网络

service network restart

2.安装JDK
rpm -ivh jdk-8u191-linux-x64.rpm

默认安装在 ls /usr/java/目录下

查看安装jdk安装包

rpm -qa| grep jdk

卸载安装的jdk

rpm -e `rpm -qa | grep jdk`

配置JAVA_HOME

JAVA_HOME=/usr/java/latest
PATH=$PATH:JAVA_HOME/bin
CLASSPATH=.
export JAVA_HOME
export PATH
export CLASSPATH

配完重新加载一下

source .bashrc

验证一下能不能取到

[root@note01 ~]# echo $JAVA_HOME
/usr/java/latest
[root@note01 ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:JAVA_HOME/bin
[root@note01 ~]# echo $CLASSPATH
.
3.主机名和ip映射

vi /etc/hosts

关闭防火墙

service iptables stop

查看防火墙状态

service iptables status

关掉开机启动防火墙

chkconfig iptables off

查看

chkconfig --list
chkconfig --list|grep iptables
4.安装zookeeper

解压zookeeper

tar -zxf zookeeper-3.4.6.tar.gz -C /usr/

cd到/usr/zookeeper-3.4.6/conf目录下copy

cd /usr/zookeeper-3.4.6/conf

cp zoo_sample.cfg zoo.cfg

修改配置zookeeper数据存放路径

dataDir=/root/zkdata

创建文件夹

mkdir /root/zkdata

各种命令

./bin/zkServer.sh

Usage: ./bin/zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

启动:./bin/zkServer.sh start

5.安装单机kafka

tar -zxf kafka_2.11-2.2.0.tgz -C /usr/

kafka MQ服务修改config/server.properties

修改主机名：note01

listeners=PLAINTEXT://note01:9092

kafka日志

log.dirs=/usr/kafka-logs

zookeeper.connect=note01:2181

启动kafka

[root@note01 kafka_2.11-2.2.0]# ./bin/kafka-server-start.sh -daemon config/server.properties

关闭kafak

./bin/kafka-server-stop.sh

创建kafka topic

[root@note01 kafka_2.11-2.2.0]# ./bin/kafka-topics.sh --bootstrap-server note01:9092 --create --topic topic01 --partitions 3 --replication-factor 1

开启消费者，接受消息

./bin/kafka-console-consumer.sh --bootstrap-server note01:9092 --topic topic01 --group group1

在这里插入图片描述

开启生产者，发送消息

[root@note01 kafka_2.11-2.2.0]# ./bin/kafka-console-producer.sh --broker-list note01:9092 --topic topic01

在这里插入图片描述

6.kafka集群搭建
1.环境配置

hosts配置

[root@note03 etc]# vi hosts

192.168.57.23 note03 192.168.57.24 note04 192.168.57.25 note06

拷贝到note04， 05下

[root@note03 etc]# scp /etc/hosts note04:/etc/

[root@note03 etc]# scp /etc/hosts note05:/etc/

配置JAVA_HOME

[root@note03 ~]# vi .bashrc
[root@note03 ~]# scp .bashrc note04:~/
[root@note03 ~]# scp .bashrc note05:~/

重新加载环境变量

[root@note04 ~]# source .bashrc
2.同步时钟

首先安装 yum install ntp -y

如果失败

在这里插入图片描述

修改yum源站点配置：vi /etc/yum.repos.d/CentOS-Base.repo
对照清华大学镜像站中的目录修改后如下：

[base]
name=CentOS-$releasever - Base
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/os/x86_64/
gpgcheck=1
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/os/x86_64/RPM-GPG-KEY-CentOS-6

#released updates
[updates]
name=CentOS-$releasever - Updates
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/updates/$basearch/
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/updates/x86_64/
gpgcheck=1
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/os/x86_64/RPM-GPG-KEY-CentOS-6

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/extras/$basearch/
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/extras/x86_64/
gpgcheck=1
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/os/x86_64/RPM-GPG-KEY-CentOS-6

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=centosplus&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/centosplus/$basearch/
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/centosplus/x86_64/
gpgcheck=1
enabled=0
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/os/x86_64/RPM-GPG-KEY-CentOS-6

#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=contrib&infra=$infra
#baseurl=http://mirror.centos.org/centos/$releasever/contrib/$basearch/
baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/contrib/x86_64/
gpgcheck=1
enabled=0
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/centos-vault/6.8/os/x86_64/RPM-GPG-KEY-CentOS-6

和阿里云服务同步:ntp[1-7].aliyun.com

[root@note01 ~]# ntpdate ntp1.aliyun.com
[root@note01 ~]# clock -w

CMOS中的时间可能还没有改变，所以为了保险，需要使用 clock -w 把当前系统时间写入到CMOS中。

3.安装zookeeper
[root@note03 ~]# tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
[root@note03 ~]# cd /usr/zookeeper-3.4.6/
[root@note03 zookeeper-3.4.6]# cp conf/zoo_sample.cfg  conf/zoo.cfg
[root@note03 zookeeper-3.4.6]# vi conf/zoo.cfg

修改zoo.cfg配置

dataDir=/root/zkdata
和单机不一样的地方，需要配置
#在文件尾部追加服务器配置，集群服务器配置
server.1=note03:2888:3888
server.2=note04:2888:3888
server.3=note05:2888:3888

创建目录

[root@note03 zookeeper-3.4.6]# mkdir /root/zkdata

把zookeeper配置分别拷贝到另外两台机子上

[root@note03 zookeeper-3.4.6]# scp -r /usr/zookeeper-3.4.6 note05:/usr/

[root@note04 ~]# mkdir /root/zkdata
[root@note05 ~]# mkdir /root/zkdata

#在server1上修改服务器标识为1
[root@note03 zookeeper-3.4.6]# echo 1 > /root/zkdata/myid
#在server2上修改服务器标识为2
[root@note04 ~]# echo 2 > /root/zkdata/myid
#在server3上修改服务器标识为3
[root@note05 ~]# echo 3 > /root/zkdata/myid

启动zookeeper

[root@note03 zookeeper-3.4.6]# /usr/zookeeper-3.4.6/bin/zkServer.sh start zoo.cfg
[root@note04 ~]# /usr/zookeeper-3.4.6/bin/zkServer.sh start zoo.cfg
[root@note05 ~]# /usr/zookeeper-3.4.6/bin/zkServer.sh start zoo.cfg

安装配置kafka

[root@note03 ~]# tar -zxf kafka_2.11-2.2.0.tgz  -C /usr/
[root@note03 ~]# cd /usr/kafka_2.11-2.2.0/
[root@note03 kafka_2.11-2.2.0]# vi config/server.properties 

listeners=PLAINTEXT://note03:9092
log.dirs=/usr/kafka-logs
zookeeper.connect=note03:2181,note04:2181,note05:2181

[root@note03 kafka_2.11-2.2.0]# cd ..
[root@note03 usr]# scp -r kafka_2.11-2.2.0 note04:/usr/
[root@note03 kafka_2.11-2.2.0]# cd ..
[root@note03 usr]# scp -r kafka_2.11-2.2.0 note05:/usr/

note04,05拷贝后修改配置

[root@note04 ~]# vi /usr/kafka_2.11-2.2.0/config/server.properties 
broker.id=1
listeners=PLAINTEXT://note04:9092

broker.id=2
listeners=PLAINTEXT://note05:9092

启动kafka

[root@note03 ~]# cd /usr/kafka_2.11-2.2.0/
[root@note03 kafka_2.11-2.2.0]# ./bin/kafka-server-start.sh -daemon config/server.properties
[root@note03 kafka_2.11-2.2.0]# jps
1282 QuorumPeerMain
3433 Kafka
3482 Jps

[root@note03 kafka_2.11-2.2.0]# /usr/kafka_2.11-2.2.0/bin/kafka-topics.sh --bootstrap-server note03:9092,note04:9092,note05:9092 --create --topic topic01 --partitions 3 --replication-factor 2

查看topic详情

[root@note03 kafka_2.11-2.2.0]# /usr/kafka_2.11-2.2.0/bin/kafka-topics.sh --bootstrap-server note03:9092,note04:9092,note05:9092 --describe --topic topic01

删除topic

[root@note03 kafka_2.11-2.2.0]# /usr/kafka_2.11-2.2.0/bin/kafka-topics.sh --bootstrap-server note03:9092,note04:9092,note05:9092 --delete --topic topic01

修改topic下partitions，只能往大加，不能往小改

[root@note03 kafka_2.11-2.2.0]# /usr/kafka_2.11-2.2.0/bin/kafka-topics.sh --bootstrap-server note03:9092,note04:9092,note05:9092 --alter --topic topic01 --partitions 4

删除topic

[root@note03 kafka_2.11-2.2.0]# /usr/kafka_2.11-2.2.0/bin/kafka-topics.sh --bootstrap-server note03:9092,note04:9092,note05:9092 --delete --topic topic01

修改topic下partitions，只能往大加，不能往小改

[root@note03 kafka_2.11-2.2.0]# /usr/kafka_2.11-2.2.0/bin/kafka-topics.sh --bootstrap-server note03:9092,note04:9092,note05:9092 --alter --topic topic01 --partitions 4

公众号：从零开始架构师
在这里插入图片描述

Java超神之路
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux下安装kafka（单节点与分布式模式）
xl.zhang的博客
03-08 5317
环境准备    三台虚拟机：spark1，spark2，spark3    三台虚拟机已经实现免密码登录    三台虚拟机已经搭建zookeeper一、搭建kafka单节点模式（在spark1中搭建）    1.上传kafka至服务器（以kafka_2.11-0.10.1.0.tgz为例）    2.解压        [root@spark1 soft]# tar -zxvf kafka_2.1...
kafka以及依赖安装包jdk+zookeeper+kafka
最新发布
12-22
`CMAK-3.0.0.6.tar.gz`是Confluent Monitorin Agent for Kafka (CMAK)的压缩包，这是一个Kafka的Web管理界面，方便用户监控和管理Kafka集群。安装CMAK后，可以通过浏览器查看Kafka集群的状态、消费组信息、主题详情...
虚拟机环境安装 | 安装Kafka集群
死牛胖子的技术随笔
01-21 3250
操作系统：Centos7 集群规划 准备四台虚拟机 服务器 IP Zookeeper集群 Kafka集群 node01 192.168.80.129 Y node02 192.168.80.130 Y Y node03 192.168.80.131 Y Y node04 192.168.80.132 Y 准备工作 1、使用服务器名称进行通信 编辑 /etc/hosts 文件，在最后添加如下内容 192.168.80.129 node01 192.168.80.130 .
虚拟机搭建zookeeper集群和kafka集成，配置消费者和生产者java代码
小屁孩的博客
04-11 903
自己搭建的过程记录，有任何问题希望提出建议，一定重新改过，在虚拟机环境中 首先创建三台虚拟机，我的是192.168.198.128，192.168.198.129，192.168.198.130 在这里里首先解释一些必须的命令 vim /usr/java/conf 这是打开conf的命令 如果出现以下错误 centos -bash: vim: command not found 标识...
虚拟机上安装集群kafka
iME_cho的博客
06-22 438
虚拟机上安装集群kafka
kafka搭建_CentOS7下简单搭建zookeeper+kafka集群
weixin_39851307的博客
11-28 149
​如下图所示三台CentOS7的机器来搭建zookeeper+kafka集群192.168.31.221 node1 node1.walkingcloud.cn192.168.31.222 node2 node2.walkingcloud.cn192.168.31.223 node3 node3.walkingcloud.cn一、环境搭建1、三台机器均修改/etc/hosts2、配置互信ssh-k...
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。 注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址，有hadoop+zookeeper+...
Docker搭建Zookeeper&Kafka集群的实现
01-11
最近在学习Kafka，准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了（嗯。。主要是懒）。 环境准备 一台可以上网且有CentOS7虚拟机的电脑 为什么使用虚拟机？因为使用...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
综上所述，搭建这样一个大数据集群需要深入了解每个组件的特性和配置要求，同时还需要具备一定的网络和系统管理知识。过程中可能遇到的问题包括网络配置、权限设置、依赖冲突等，解决这些问题通常需要查阅官方文档、...
kafka集群搭建及测试.docx
11-11
总的来说，搭建Kafka集群涉及Java、Zookeeper的安装配置，以及Kafka自身的配置和启动。完成这些步骤后，你可以通过创建和消费消息来验证集群功能是否正常。如果在搭建过程中遇到任何问题，可以通过网络搜索或与他人...
zookeeper介绍及集群的搭建(利用虚拟机)
这里将承载一段最初的记忆
11-14 215
zookeeper介绍及集群的搭建(利用虚拟机) ZooKeeper ​ 　　ZooKeeper是一个分布式的，开放源码（apache）的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase、dubbox、kafka的重要组件。它主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造...
3台虚拟机搭建kafka集群
Captain249的博客
07-05 1368
上篇博客，已经介绍了三台虚拟机搭建zookeeper集群。本篇讲继续搭建kafka集群。 首先创建目录，以便管理。 mkdir /home/captain/kafka cd /home/captain/kafka 将压缩包放入到目录中，压缩包： 链接：https://pan.baidu.com/s/1gr9bXvcaOPRyOf9YYMqPiQ 提取码：vk9d 1）解压安装包 ...
zookeeper集群搭建（Centos 7虚拟机）
萨丁
04-24 202
一，下载 zookeeper下载：链接地址，这里下载的是当前比较稳定的版本：3.4.14 JDK1.8下载：官网地址，zookeeper运行是依赖jdk的，因为源码是java写的 虚拟机软件下载：VMware Workstation Pro下载，此软件需要破解，百度可以解决，也可以用virtualbox代替 Centos7下载：链接地址，这里使用的是阿里源下载，速度比官网快...
linux下搭建zookeeper+kafka集群
weixin_43914685的博客
02-13 2037
linux版本：centos7.2 链接：https://pan.baidu.com/s/1jjHoz_GQNe9pwTT40ZWryg 提取码：4mtp kafka版本：kafka_2.12-2.7.0.tgz 链接：https://pan.baidu.com/s/1b5yOLpyPh5rQy9hEGDq2Ag 提取码：ciai zookeeper环境:https://blog.csdn.net/weixin_43914685/article/details/113762882 1.解压安装包 [root
手把手教你zookeeper搭建集群（虚拟机版）
HX_2021
08-04 397
单机环境下，jdk、zookeeper安装完毕，基于一台虚拟机，进行zookeeper伪集群搭建，zookeeper集群中包含3个节点，节点对外提供服务端口号，分别为2181、2182、2183 基于zookeeper-3.4.10复制三份zookeeper安装好的服务器文件,目录名称分别为zookeeper2181、zookeeper2182、zookeeper2183 cp -r zookeeper-3.4.10 zookeeper2181 cp -r zookeeper-3.4.10 zook
搭建ZooKeeper集群和Kafka集群
Kyan1te的博客
05-02 187
规划 IP 主机名 节点 192.168.200.40 zookeeper1 集群节点 192.168.200.50 zookeeper2 集群节点 192.168.200.60 zookeeper3 集群节点 基础环境配置 （1）修改主机名 使用 hostnamectl 命令修改 3 台主机的主机名。 Mycat 节点修改主机名命令： [root@localhost ~]# hostnamectl set-hostname zookeeper1 [root...
kafka搭建
qq_43509550的博客
10-30 194
1.kafka安装包 下载地址：https://mirrors.aliyun.com/apache/kafka/ 2.kafka安装包上传到服务器并解压 tar -zxvf /opt/soft/kafka_2.11-0.10.2.1.tgz -C /opt/apps/ 3.进入kafka的config目录下，修改server.properties文件 vim server.properties broker.id=1 listeners=PLAINTEXT://0.0.0.0:9092 advertised
[分布式] zookeeper集群与kafka集群
2302_76410765的博客
07-12 2046
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。
Zookeeper集群安装
qianfeng_dashuju的博客
11-01 79
　　摘要: Zookeeper集群安装 SpringMVC+Mybatis, Dubbo+Zookeeper, java分布式架构 　　1. 在根目录创建zookeeper文件夹(service1、service2、service3都创建) 　　[root@localhost/]# mkdir zookeeper 　　通过Xshell上传文件到service1服务器：上传zookeeper-...
CentOS环境下Kafka分布式集群详细搭建指南
然后是Zookeeper的安装和配置，Zookeeper是Kafka集群的重要组成部分，用于协调各个节点的状态。在第一台（Node1）节点上，Zookeeper的配置文件（zoo_sample.cfg）被复制并改名为zoo.cfg。在这个配置文件中，主要关注...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值