CentOS7.8-Kafka消息队列

已于 2023-06-07 15:58:30 修改
阅读量306 收藏 1
点赞数
文章标签： kafka 大数据 分布式 linux
于 2023-05-07 13:49:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73705067/article/details/130542022
版权

一、概念理解

kafka是最初由Linkedin公司开发，是一分布式，支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，Web/nginx日志，访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目

1.1产生背景

当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产处各种信息，在大数据时代，我们面临如下挑战：

  1. 如何收集这些巨大的信息

  2. 如何分析它

  3. 如何及时做到如上两点

1.2Kafka的特性

  1. 高吞吐量：低延迟：Kafka每秒可以处理几十万消息，它的延迟最低只有几毫秒

  2. 可扩展性：kafka集群支持热扩展

  3. 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失

  4. 容错性：允许集群中节点失败（若副本数量为n，则允许n-1个节点失败）

  5. 高并发：支持数钱个客户端同时读写

1.3kafka使用场景

日志收集：一个公司可以用kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种sonsumer，例如Hadoop、Hbase、Solr等

消息系统：解耦和生产者和消费者，缓存消息等

用户活动跟踪：kafka经常被用来记录Web用户或者app用户的各种活动，如浏览网页，搜索，点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到hadoop，数据仓库中做离线分析和挖掘

运营指标：kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告

流式处理：比如spark，streaming和storm

1.4点对点模式

在这里插入图片描述

如上图所示，点对点模式通常是基于拉取或者轮询的消息传送模型，这个模型的特点是发送到队列的消息被一个且只有一个消费者进行处理，生产者将消息放回消息队列后，由消费者主动的去拉取消息进行消费。

点对点的优点：消费者拉取消息的频率可以有自己进行控制，但是消息队列是否有消息需要消费，在消费者端无法感知，所以在消费者端需要额外的线程去控制及监控

1.5发布订阅模式

在这里插入图片描述

发布订阅模式：是一个基于消息送的消息传送模型，该模型可以有不同的订阅者。生产者将消息放入消息队列后，队列会将消息推送给订阅过该类消息的消费者（相当于公众号）。由消费者被动接受推送，所以无需感知消息队列是否还有待消费的消息，但是如果consumer节点的资源配置性能较差，则就会影响处理消息的能力，而且消息队列也无法感知消费者的速度。如果消息队列将推送速度定为5MB/s，consumer1为10M/s，consumer2为5M/s，consumer3为2M/s，那么consumer3就会无法承受，如果消息队列的推送速度为2M/s，则consumer1和consumer2则会出现资源浪费

1.6kafaka特点

优点：

  • 可靠性强（分布式-分区-副本）

  • 扩展性（可伸缩）

  • 性能高（数据读写）

  • 耐用性强（数据持久化）

  • 时效性强

缺点：

  • 由于是批量发送，数据并非真正的及时

  • 仅支持统一分区内消息有序，无法实现全局化的消息有序

  • 有可能消息重复消费

  • 依赖zookeeper进行源数据管理

1.7kafka架构

架构（API）：生产者、消费者、StreamAPI、ConnectAPI

流程生产者：kafka集群，消费者，zookeeper

1.8分区和消费组内的消费者之间的关系有哪些情况

Partition=消费任务的并发度=刚好，每个任务读取一个Partition

Partition>消费任务的并发度=有部分消费任务读取多个分区的数据

Partition<消费任务的并发度=有部分消费任务空闲（可以创建多于分区的消费者数量）

1.9分区数、消费者与读取效率之间的关系

分区数越多，同一时间可以有更多的消费来进行消费，消费数据的推送速度就会更快，提高消费的性能及效率

二、集群部署

主机名主机IPzookeeper版本kafka版本
worker01192.168.200.104apache-zookeeper-3.7.1kafka_2.12-3.3
worker02192.168.200.105apache-zookeeper-3.7.1kafka_2.12-3.3
worker03192.168.200.106apache-zookeeper-3.7.1kafka_2.12-3.3

一、环境配置

修改主机名（worker01、worker02、worker03执行）

 [root@localhost ~]# hostnamectl set-hostname worker01 && bash 
 [root@localhost ~]# hostnamectl set-hostname worker02 && bash 
 [root@localhost ~]# hostnamectl set-hostname worker03 && bash

配置/etc/hosts（worker01、worker02、worker03执行）

 [root@worker01 ~]# cat >> /etc/hosts << EOF
 192.168.200.104 worker01
 192.168.200.105 worker02
 192.168.200.106 worker03
 EOF
 [root@worker02 ~]# cat >> /etc/hosts << EOF
 192.168.200.104 worker01
 192.168.200.105 worker02
 192.168.200.106 worker03
 EOF
 [root@worker03 ~]# cat >> /etc/hosts << EOF
 192.168.200.104 worker01
 192.168.200.105 worker02
 192.168.200.106 worker03
 EOF

二、安装jdk1.8

worker01、worker02、worker03执行

 # 查询jdk软件包
 yum list |grep jdk
 ​
 # 安装系统对应版本
 yum install -y java-1.8.0-openjdk-devel.x86_64
 ​
 # 查看jdk是否配置生效
 java -version
 ​
 # 后续可以用jps查看，主机启动的所有java进程
 jps

三、安装zookeeper集群

3.1解压目录

 #worker01
 [root@worker01 ~]# mkdir -pv /root/software/kafaka-zookeeper/{data,logs}
 mkdir: 已创建目录 "/root/software/"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper/data"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper/logs"
 [root@worker01 ~]# tar -xvf /root/software/apache-zookeeper-3.7.1-bin.tar.gz -C /root/software/kafaka-zookeeper
 [root@worker01 ~]# mv /root/software/kafaka-zookeeper/apache-zookeeper-3.7.1-bin/ /root/software/kafaka-zookeeper/apache-zookeeper
 ​
 #worker02
 [root@worker02 ~]# mkdir -pv /root/software/kafaka-zookeeper/{data,logs}
 mkdir: 已创建目录 "/root/software/"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper/data"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper/logs"
 [root@worker02 ~]# tar -xvf /root/software/apache-zookeeper-3.7.1-bin.tar.gz -C /root/software/kafaka-zookeeper
 [root@worker02 ~]# mv /root/software/kafaka-zookeeper/apache-zookeeper-3.7.1-bin/ /root/software/kafaka-zookeeper/apache-zookeeper
 ​
 #worker03
 [root@worker03 ~]# mkdir -pv /root/software/kafaka-zookeeper/{data,logs}
 mkdir: 已创建目录 "/root/software/"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper/data"
 mkdir: 已创建目录 "/root/software/kafaka-zookeeper/logs"
 [root@worker03 ~]# tar -xvf /root/software/apache-zookeeper-3.7.1-bin.tar.gz -C /root/software/kafaka-zookeeper
 [root@worker03 ~]# mv /root/software/kafaka-zookeeper/apache-zookeeper-3.7.1-bin/ /root/software/kafaka-zookeeper/apache-zookeeper

3.2修改配置文件

 [root@worker01 ~ ]# cd /root/software/kafaka-zookeeper/apache-zookeeper/conf
 [root@worker01 conf]# mv zoo_sample.cfg zoo.cfg
 [root@worker01 conf]# vim /root/software/kafaka-zookeeper/apache-zookeeper/conf/zoo.cfg 
 ​
 tickTime=2000
 initLimit=10
 syncLimit=5
 dataDir=/root/software/kafaka-zookeeper/data
 dataLogDir=/root/software/kafaka-zookeeper/logs
 ​
 server.1=192.168.200.104:2888:3888
 server.2=192.168.200.105:2888:3888
 server.3=192.168.200.106:2888:3888
 ​
 ​
 [root@worker02 ~ ]# cd /root/software/kafaka-zookeeper/apache-zookeeper/conf
 [root@worker02 conf]# mv zoo_sample.cfg zoo.cfg
 [root@worker02 conf]# vim /root/software/kafaka-zookeeper/apache-zookeeper/conf/zoo.cfg 
 ​
 tickTime=2000
 initLimit=10
 syncLimit=5
 dataDir=/root/software/kafaka-zookeeper/data
 dataLogDir=/root/software/kafaka-zookeeper/logs
 ​
 server.1=192.168.200.104:2888:3888
 server.2=192.168.200.105:2888:3888
 server.3=192.168.200.106:2888:3888
 ​
 ​
 [root@worker03 ~ ]# cd /root/software/kafaka-zookeeper/apache-zookeeper/conf
 [root@worker03 conf]# mv zoo_sample.cfg zoo.cfg
 [root@worker03 conf]# vim /root/software/kafaka-zookeeper/apache-zookeeper/conf/zoo.cfg 
 ​
 tickTime=2000
 initLimit=10
 syncLimit=5
 dataDir=/root/software/kafaka-zookeeper/data
 dataLogDir=/root/software/kafaka-zookeeper/logs
 ​
 server.1=192.168.200.104:2888:3888
 server.2=192.168.200.105:2888:3888
 server.3=192.168.200.106:2888:3888

3.3创建myid

 [root@worker01 ~ ]# cd /root/software/kafaka-zookeeper/data
 [root@worker01 data]# touch myid
 [root@worker01 data]# echo 1 > /root/software/kafaka-zookeeper/data/myid
 ​
 ​
 [root@worker02 ~ ]# cd /root/software/kafaka-zookeeper/data
 [root@worker02 data]# touch myid
 [root@worker02 data]# echo 2 > /root/software/kafaka-zookeeper/data/myid
 ​
 ​
 [root@worker03 ~ ]# cd /root/software/kafaka-zookeeper/data
 [root@worker03 data]# touch myid
 [root@worker03 data]# echo 3 > /root/software/kafaka-zookeeper/data/myid

3.4启动停止zookeeper

 [root@worker01 ~ ]# /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkServer.sh start
 [root@worker01 ~ ]# /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkServer.sh status 
 /usr/bin/java
 ZooKeeper JMX enabled by default
 Using config: /root/software/kafaka-zookeeper/apache-zookeeper/bin/../conf/zoo.cfg
 Client port found: 2181. Client address: localhost. Client SSL: false.
 Mode: follower
 ​
 [root@worker02 ~ ]# /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkServer.sh start
 [root@worker02 ~ ]# /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkServer.sh status 
 /usr/bin/java
 ZooKeeper JMX enabled by default
 Using config: /root/software/kafaka-zookeeper/apache-zookeeper/bin/../conf/zoo.cfg
 Client port found: 2181. Client address: localhost. Client SSL: false.
 Mode: leader
 ​
 [root@worker03 ~ ]# /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkServer.sh start
 [root@worker03 ~ ]# /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkServer.sh status 
 /usr/bin/java
 ZooKeeper JMX enabled by default
 Using config: /root/software/kafaka-zookeeper/apache-zookeeper/bin/../conf/zoo.cfg
 Client port found: 2181. Client address: localhost. Client SSL: false.
 Mode: follower
 ​
 # 运行客户端（后面介绍kafka注册）
 /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkCli.sh -server 192.168.200.104:2181
 /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkCli.sh -server 192.168.200.105:2181
 /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkCli.sh -server 192.168.200.106:2181

四、安装kafka集群

4.1解压目录

 [root@worker01 ~]# cd /root/software/
 [root@worker01 software]# ls
 apache-zookeeper-3.7.1-bin.tar.gz  kafaka-zookeeper  kafka_2.12-3.3.1.tgz
 [root@worker01 software]# mkdir -pv /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/{data,logs}
 [root@worker01 software]# ls
 apache-zookeeper-3.7.1-bin.tar.gz  kafaka-zookeeper  kafka_2.12-3.3.1.tgz
 [root@worker01 software]# tar -xvf /root/software/kafka_2.12-3.3.1.tgz -C /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/
 [root@worker01 software]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/
 [root@worker01 kafka_2.12-3.3.1]# mv kafka_2.12-3.3.1/ kafka
 ​
 ​
 [root@worker02 ~]# cd /root/software/
 [root@worker02 software]# ls
 apache-zookeeper-3.7.1-bin.tar.gz  kafaka-zookeeper  kafka_2.12-3.3.1.tgz
 [root@worker02 software]# mkdir -pv /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/{data,logs}
 [root@worker02 software]# ls
 apache-zookeeper-3.7.1-bin.tar.gz  kafaka-zookeeper  kafka_2.12-3.3.1.tgz
 [root@worker02 software]# tar -xvf /root/software/kafka_2.12-3.3.1.tgz -C /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/
 [root@worker02 software]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/
 [root@worker02 kafka_2.12-3.3.1]# mv kafka_2.12-3.3.1/ kafka
 ​
 ​
 [root@worker03 ~]# cd /root/software/
 [root@worker03 software]# ls
 apache-zookeeper-3.7.1-bin.tar.gz  kafaka-zookeeper  kafka_2.12-3.3.1.tgz
 [root@worker03 software]# mkdir -pv /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/{data,logs}
 [root@worker03 software]# ls
 apache-zookeeper-3.7.1-bin.tar.gz  kafaka-zookeeper  kafka_2.12-3.3.1.tgz
 [root@worker03 software]# tar -xvf /root/software/kafka_2.12-3.3.1.tgz -C /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/
 [root@worker03 software]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/
 [root@worker03 kafka_2.12-3.3.1]# mv kafka_2.12-3.3.1/ kafka

4.2修改配置文件

 [root@worker01 config]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/kafka/config
 [root@worker01 config]# cp server.properties server.properties.bak
 [root@worker01 config]# sed -i "/#/d" server.properties
 ​
 ​
 [root@worker02 config]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/kafka/config
 [root@worker02 config]# cp server.properties server.properties.bak
 [root@worker02 config]# sed -i "/#/d" server.properties
 ​
 ​
 [root@worker03 config]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/kafka/config
 [root@worker03 config]# cp server.properties server.properties.bak
 [root@worker03 config]# sed -i "/#/d" server.properties
 vim server.properties
  
 # worker01 192.168.200.104 配置文件修改
 broker.id=1
 listeners=PLAINTEXT://192.168.200.104:9092
 num.network.threads=12
 num.io.threads=24
 socket.send.buffer.bytes=102400
 socket.receive.buffer.bytes=102400
 socket.request.max.bytes=104857600
 log.dirs=/root/software/kafaka-zookeeper/logs/
 num.partitions=3
 num.recovery.threads.per.data.dir=12
 offsets.topic.replication.factor=3
 transaction.state.log.replication.factor=3
 transaction.state.log.min.isr=3
 log.retention.hours=168
 log.segment.bytes=1073741824
 log.retention.check.interval.ms=300000
 zookeeper.connect=192.168.200.104:2181,192.168.200.105:2181,192.168.200.106:2181
 zookeeper.connection.timeout.ms=18000
 group.initial.rebalance.delay.ms=0
 ​
  
 # worker02 192.168.19.131 配置文件修改
 broker.id=2
 listeners=PLAINTEXT://192.168.1200.105:9092
 num.network.threads=3
 num.io.threads=8
 socket.send.buffer.bytes=102400
 socket.receive.buffer.bytes=102400
 socket.request.max.bytes=104857600
 log.dirs=/root/software/kafaka-zookeeper/logs/
 num.partitions=3
 num.recovery.threads.per.data.dir=1
 offsets.topic.replication.factor=1
 transaction.state.log.replication.factor=1
 transaction.state.log.min.isr=1
 log.retention.hours=168
 log.retention.check.interval.ms=300000
 zookeeper.connect=192.168.200.104:2181,192.168.200.105:2181,192.168.200.106:2181
 zookeeper.connection.timeout.ms=18000
 group.initial.rebalance.delay.ms=0
  
 # worker03 192.168.19.132 配置文件修改
 broker.id=3
 listeners=PLAINTEXT://192.168.1200.106:9092
 num.network.threads=3
 num.io.threads=8
 socket.send.buffer.bytes=102400
 socket.receive.buffer.bytes=102400
 socket.request.max.bytes=104857600
 log.dirs=/root/software/kafaka-zookeeper/logs/
 num.partitions=3
 num.recovery.threads.per.data.dir=1
 offsets.topic.replication.factor=1
 transaction.state.log.replication.factor=1
 transaction.state.log.min.isr=1
 log.retention.hours=168
 log.retention.check.interval.ms=300000
 zookeeper.connect=192.168.200.104:2181,192.168.200.105:2181,192.168.200.106:2181
 zookeeper.connection.timeout.ms=18000
 group.initial.rebalance.delay.ms=0

4.3启动kafka集群

 [root@worker01 ~]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/kafka/bin/
 [root@worker01 bin]#  ./kafka-server-start.sh -daemon ../config/server.properties
 [root@worker01 bin]# netstat -anpt | grep java 
 tcp6       0      0 :::24439                :::*                    LISTEN      2143/java           
 tcp6       0      0 :::18814                :::*                    LISTEN      1650/java           
 tcp6       1      0 192.168.200.105:9092    :::*                    LISTEN      2143/java           
 tcp6       0      0 :::2181                 :::*                    LISTEN      1650/java           
 tcp6       0      0 192.168.200.105:2888    :::*                    LISTEN      1650/java           
 tcp6       0      0 192.168.200.105:3888    :::*                    LISTEN      1650/java           
 tcp6       0      0 :::8080                 :::*                    LISTEN      1650/java           
 tcp6       0     20 192.168.200.105:2888    192.168.200.104:13934   ESTABLISHED 1650/java           
 tcp6       0     20 192.168.200.105:2888    192.168.200.106:18286   ESTABLISHED 1650/java           
 tcp6       0      0 192.168.200.105:3888    192.168.200.106:64502   ESTABLISHED 1650/java           
 tcp6       0      0 192.168.200.105:49596   192.168.200.104:2181    ESTABLISHED 2143/java           
 tcp6       0      0 192.168.200.105:7834    192.168.200.104:3888    ESTABLISHED 1650/java    
 ​
 ​
 [root@worker02 ~]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/kafka/bin/
 [root@worker02 bin]#  ./kafka-server-start.sh -daemon ../config/server.properties
 [root@worker02 bin]# netstat -anpt | grep java 
 tcp6       0      0 :::24439                :::*                    LISTEN      2143/java           
 tcp6       0      0 :::18814                :::*                    LISTEN      1650/java           
 tcp6       1      0 192.168.200.105:9092    :::*                    LISTEN      2143/java           
 tcp6       0      0 :::2181                 :::*                    LISTEN      1650/java           
 tcp6       0      0 192.168.200.105:2888    :::*                    LISTEN      1650/java           
 tcp6       0      0 192.168.200.105:3888    :::*                    LISTEN      1650/java           
 tcp6       0      0 :::8080                 :::*                    LISTEN      1650/java           
 tcp6       0     20 192.168.200.105:2888    192.168.200.104:13934   ESTABLISHED 1650/java           
 tcp6       0     20 192.168.200.105:2888    192.168.200.106:18286   ESTABLISHED 1650/java           
 tcp6       0      0 192.168.200.105:3888    192.168.200.106:64502   ESTABLISHED 1650/java           
 tcp6       0      0 192.168.200.105:49596   192.168.200.104:2181    ESTABLISHED 2143/java           
 tcp6       0      0 192.168.200.105:7834    192.168.200.104:3888    ESTABLISHED 1650/java           
 ​
 ​
 [root@worker03 ~]# cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/kafka/bin/
 [root@worker03 bin]#  ./kafka-server-start.sh -daemon ../config/server.properties
 [root@worker03 bin]# netstat -anpt | grep java 
 tcp6       0      0 :::24439                :::*                    LISTEN      2143/java           
 tcp6       0      0 :::18814                :::*                    LISTEN      1650/java           
 tcp6       1      0 192.168.200.105:9092    :::*                    LISTEN      2143/java           
 tcp6       0      0 :::2181                 :::*                    LISTEN      1650/java           
 tcp6       0      0 192.168.200.105:2888    :::*                    LISTEN      1650/java           
 tcp6       0      0 192.168.200.105:3888    :::*                    LISTEN      1650/java           
 tcp6       0      0 :::8080                 :::*                    LISTEN      1650/java           
 tcp6       0     20 192.168.200.105:2888    192.168.200.104:13934   ESTABLISHED 1650/java           
 tcp6       0     20 192.168.200.105:2888    192.168.200.106:18286   ESTABLISHED 1650/java           
 tcp6       0      0 192.168.200.105:3888    192.168.200.106:64502   ESTABLISHED 1650/java           
 tcp6       0      0 192.168.200.105:49596   192.168.200.104:2181    ESTABLISHED 2143/java           
 tcp6       0      0 192.168.200.105:7834    192.168.200.104:3888    ESTABLISHED 1650/java    

4.4验证kafka集群

 列出所有的topic
 ​
 ./kafka-topics.sh --list --bootstrap-server 192.168.200.104:9092
 ./kafka-topics.sh --list --bootstrap-server 192.168.200.105:9092
 ./kafka-topics.sh --list --bootstrap-server 192.168.200.106:9092
 # 在worker01 192.168.200.104 上发布消息
 ./kafka-console-producer.sh --broker-list  192.168.200.104:9092 --topic zy
 我过的挺好
 zoo
  
 #  在worker02 192.168.200.105 上消费
 ./kafka-console-producer.sh --broker-list  192.168.200.105:9092 --topic zy
 我过的挺好
 zoo
   
 #  在worker02 192.168.200.106 上消费
 ./kafka-console-producer.sh --broker-list  192.168.200.106:9092 --topic zy
 我过的挺好
 zoo

4.5验证zookeeper集群

  cd /root/software/kafaka-zookeeper/kafka_2.12-3.3.1/kafka/bin/
  
 # 进入zookeeper客户端，如果是自定义端口一定要 -server 指定IP:port，否则默认进入2181端口
  
 /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkCli.sh -server 192.168.200.104:2181
 /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkCli.sh -server 192.168.200.105:2181
 /root/software/kafaka-zookeeper/apache-zookeeper/bin/zkCli.sh -server 192.168.200.106:2181
  
 # 查看服务
 [zk: 192.168.200.104:2181(CONNECTED) 0] ls /brokers/ids
 [1, 2, 3]
 [zk: 192.168.200.104:2181(CONNECTED) 1] ls /brokers/topics 
 [zhangjialuo, zylinux]
  
  
 # 进入zookeeper客户端，不是自定义
 ./zkCli.sh
 [zk: localhost:2181(CONNECTED) 1] ls /
 [admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
 [zk: localhost:2181(CONNECTED) 2] ls /config 
 [brokers, changes, clients, ips, topics, users]
 [zk: localhost:2181(CONNECTED) 3] ls /config/brokers
 []
 [zk: localhost:2181(CONNECTED) 4] ls /config/topics 
 [__consumer_offsets, hkzs, zbqy]
欺险.
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【CentOS 7.3】消息队列 RabbitMQ 安装部署
weixin_40484876的博客
05-07 179
1、首先安装 Erlang 环境 因为 RabbitMQ 需要 erlang 环境的支持，所以必须先安装 erlang。 这里要安装的是 erlang-22.3.3-1.el7.x86_64.rpm ，首先执行如下命令来安装其对应的 yum repo ： [root@localhost ~]# curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash 执行如下命令正式安装 e
centos搭建kafka
IM_SEAN_YANG的博客
05-04 287
文章目录环境kafka下载和安装kafka安装kafka端口zookeeper安装和启动zookeeper端口使用kafka 环境 虚拟机 操作系统: Linux Centos8.0 $ cat /etc/redhat-release # CentOS Linux release 8.0.1905 (Core) Linux 内核版本: 4.18 $ uname -r # 4.18.0-80.1...
CentOS7安装部署消息队列RabbitMQ
DreamsArchitects的博客
08-30 2264
RabbitMQ安装部署一、首先安装ERLANG环境1.首先是安装其对应的 yum repo2.接下来执行如下命令正式安装 erlang 环境:二、安装RABBITMQ1.接下来正式开始安装 rabbitmq ，首先依然是安装其对应的 yum repo2.然后执行如下命令正式安装 rabbitmq 一、首先安装ERLANG环境 因为 RabbitMQ 需要 erlang 环境的支持，所以必须先安装 erlang 。 1.首先是安装其对应的 yum repo 直接使用命令： curl -s https://p
CentOS上Kafka集群安装部署
最新发布
qq_65231448的博客
05-15 754
Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。Kafka多数都是运行在分布式（集群化）模式下，本文以3台服务器【node1,node2,node3】示例，来完成Kafka集群的安装部署。
linux安装消息队列,CentOS7环境安装使用专业的消息队列产品RabbitMQ
weixin_33977572的博客
05-16 192
我们在项目开发的时候都不可避免的会有异步化的问题，比较好的解决方案就是使用消息队列，可供选择的队列产品也有很多，比如轻量级的redis，当然还有重量级的专业产品rabbitmq，rabbitmq好就好在是用erlang(二郎神)开发的，它那天生的OTP并行计算框架，轻而易举的进程间通讯，我都恨不得将后端的内存计算框架全部换成erlang。。。开个玩笑，这篇我们具体来讲讲erlang开发的一个成品，...
ELK安装部署简介
qq_24333367的博客
09-21 164
简介： 1.Elasticsearch： 是一个实时的分布式搜索和分析引擎，建立在全文搜索引擎Apache Lucene基础之上，使用Java语言编写，具有分布式、高可用性、易扩展、具有副本和索引自动分片动能、提供基于HTTP协议以JSON为数据交互格式的REST风格API、多数据源、实时分析存储特点； 2.Logstash： 其功能类似于Flume，用于对日志进行收集、过滤，对数据进行格...
pcre-devel-7.8-7.el6.i686.rpm
08-18
pcre-devel-7.8-7.el6.i686.rpm
CentOS7.8.2003.7z
08-03
CentOS-7-x86_64-Minimal-2003 虚拟机文件（VMware 15）。 已完成静态IP、国内软件源配置。 用户：root/sir 密码：supreme 默认IP网段：192.168.32.102 注意：导入虚拟机时选择复制，而非移动
pcre库pcre-7.8-7.el6.x86_64.rpm
10-28
pcre库安装依赖
CentOS-7-x86_64-Everything-2003.torrent
07-29
迅雷下载链接文件 CentOS-7-x86_64-Everything-2003.torrent，需要原包的不要下载
pcre-devel-7.8-7.el6.x86_64.rpm
12-01
pcre-devel-7.8-7.el6.x86_64.rpm
CentOS7安装Kafka
09-03
CentOS7网络配置，安装JDK，安装Kafka，订阅发布以及测试
CentOS 搭建Kafka集群
前尘忆梦Memory的博客
04-10 3612
搭建 Kafka 集群
Centos安装kafka
GnodiYnehS的博客
06-30 526
一、更新系统 对centos系统的软件进行一些更新或者升级，从而在进行安装的时候可以很快的找到安装包 sudo yum install epel-release -y sudo yum update -y　 二、安装KAFKA 1、在线下载kafka安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz 二、对压缩包进行解压 sudo tar -zvxf kafka_2
CentOS搭建Kafka集群
Button的博客
01-04 1343
kafka集群搭建
Centos 安装kafka
dubhe_zhao的博客
07-28 1268
Centos 安装kafka 1.下载 2.安装 3.配置 4.启动&停止 5.测试
centos安装kafka
大伟的博客
09-05 340
1、安装jdk sudo yum -y localinstall jdk-8u241-linux-x64.rpm echo "JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")" | sudo tee -a /etc/profile source /etc/profile 保存完成之后，来启动验证一下是否配置成功。 2、安装kafka 从kafka官网上下载kafka的二进制安装包，下载地址是：https:...
Kafka 在CentOS下安装
热门推荐
Tongyao
04-01 1万+
1、下载 使用wget命令，远程下载kafka wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.1/kafka_2.12-2.8.1.tgz --no-check-certificate 2、解压文件 tar -zxvf ./kafka_2.12-2.8.1.tgz -C /usr/local/ 修改名称 mv ./kafka_2.12-2.8.1.tgz kafka2.12 3、修改配置文件 cd kafka2.12 vim c
pcre-devel-7.8-6-el6.x86_64.rpm下载
10-11
pcre-devel-7.8-6-el6.x86_64.rpm 是一个用于CentOS或RHEL 6.x (64位)系统的RPM文件，它是Perl Compatible Regular Expressions (PCRE) 库的开发包。PCRE是一个功能强大的正则表达式库，用于在文本匹配和模式搜索中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值