kafka搭建

最新推荐文章于 2024-05-29 09:48:29 发布
最新推荐文章于 2024-05-29 09:48:29 发布
阅读量361 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jack_rose_l/article/details/90202269
版权

中文官方文档

http://kafka.apachecn.org/intro.html

docker-compose.yml

version: '3'
services:
  kafka:
    image: docker.io/wurstmeister/kafka
    privileged: true
    ports:
      - "9092:9092"
      - "9999:9999"
    environment:
      KAFKA_BROKER_ID: 0
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.153.128:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: 192.168.153.128:2181,192.168.153.129:2181,192.168.153.130:2181
      JMX_PORT: 9999
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
      - "/opt/logs/kafka/:/opt/kafka/logs"
      - "/etc/localtime:/etc/localtime"

KAFKA_BROKER_ID这个标识broker的

KAFKA_ADVERTISED_LISTENERS绑定注册到zookeeper的，或者对其他broker的内部流量

KAFKA_LISTENERS绑定对外服务，consumer，producter等

附一些解释，其实我也没100%搞明白

https://yq.aliyun.com/articles/73215

https://www.cnblogs.com/rilley/p/5391268.html

https://www.cnblogs.com/snifferhu/p/5102629.html

进入容器查看默认配置目录

/opt/kafka_2.12-2.2.0/config

https://blog.csdn.net/huanggang028/article/details/47830529

https://www.cnblogs.com/jun1019/p/6656223.html

request.required.acks
控制者Producer写请求的什么时候可以确认写成功，默认是0，
0表示即不进行确认即返回。
1表示Leader写成功即返回，此时还没有进行写数据同步到其它Follower Partition中
-1表示根据指定的最少Partition确认后才返回
min.insync.replicas
该属性规定了最小的ISR数。当producer设置request.required.acks为all或-1时，指定副本(replicas)的最小数目（必须确认每一个repica的写数据都是成功的），如果这个数目没有达到，producer会产生异常。

 

可以使用docker exec命令直接调用kafka容器内的脚本来进行创建/删除topic，启动console producer等等操作。

以下kafka为容器名， 192.168.153.128，192.168.153.129，192.168.153.130为三台机器

列出所有topics

[root@centos_7_64_1 kafka-docker]# docker exec kafka kafka-topics.sh --zookeeper 192.168.153.128:2181,192.168.153.129:2181,192.168.153.130:2181 --list     
__consumer_offsets
topic-test
topic_test

查看指定topic信息

[root@centos_7_64_1 kafka-docker]# docker exec kafka kafka-topics.sh --describe --zookeeper 192.168.153.128:2181,192.168.153.129:2181,192.168.153.130:2181 --topic topic_test  
Topic:topic_test        PartitionCount:4        ReplicationFactor:3     Configs:
        Topic: topic_test       Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
        Topic: topic_test       Partition: 1    Leader: 2       Replicas: 2,1,0 Isr: 2,0,1
        Topic: topic_test       Partition: 2    Leader: 2       Replicas: 0,2,1 Isr: 2,0,1
        Topic: topic_test       Partition: 3    Leader: 1       Replicas: 1,2,0 Isr: 1,0,2

列出所有Kafka brokers
$ docker exec zookeeper bin/zkCli.sh ls /brokers/ids

...

WatchedEvent state:SyncConnected type:None path:null
[0, 1, 2]

执行以下命令查看容器中的kafka版本号：

docker exec kafka find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

执行以下命令查看zookeeper版本

docker exec zookeeper pwd 

在docker-compose.yml所在的文件夹下，执行以下命令即可将borker总数从1个扩展到4个(单机情况下)

docker-compose scale kafka=4

创建topic

docker exec kafka kafka-topics.sh --create --topic topic_test --partitions 4 --zookeeper 192.168.153.128:2181,192.168.153.129:2181,192.168.153.130:2181 --replication-factor 3

删除topic

[root@centos_7_64_1 kafka-docker]# docker exec kafka kafka-topics.sh --delete --topic topic_test --zookeeper 192.168.153.128:2181,192.168.153.129:2181,192.168.153.130:2181
Topic topic_test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
执行如下命令，即可进入等待topic为topic001消息的状态：

[root@centos_7_64_1 ~]# docker exec kafka kafka-console-consumer.sh --topic topic_test --bootstrap-server 192.168.153.128:9092,192.168.153.129:9092,192.168.153.130:9092
目前还没有生产消息，因此控制台不会有内容输出，接下来尝试生产消息；

生产消息

打开一个新的窗口，执行如下命令，进入生产消息的命令行模式，注意不要漏掉参数"-it"，我之前就是因为漏掉了参数"-it"，导致生产的消息时虽然不提示异常，但是始终无法消费到消息：
docker exec -it kafka kafka-console-producer.sh --topic topic_test --broker-list 192.168.153.128:9092,192.168.153.129:9092,192.168.153.130:9092
现在已经进入了生产消息的命令行模式，输入一些字符串然后回车，再去消费消息的控制台窗口看看，已经有消息打印出来，说明消息的生产和消费都成功了；

供用户查看consumer信息

(sh kafka-consumer-groups.sh –bootstrap-server * –describe –group *)
至此，镜像wurstmeister/kafka的实战就完成了，在后续使用到kafka服务的时候，可以参考本次实战快速搭建kafka集群

转自
https://blog.csdn.net/boling_cavalry/article/details/85395080

一些错误处理

  1. Error: Exception thrown by the agent : java.rmi.server.ExportException: Port already in use: 9999; nested exception is:

  2. https://www.cnblogs.com/txwsqk/p/9560746.html

  3. https://github.com/apache/kafka/pull/1983/commits/2c5d40e946bcc149b1a9b2c01eced4ae47a734c5

参数解释：

offsets.topic.replication.factor 用于配置offset记录的topic的partition的副本个数  这个官方文档给的3实际是1
transaction.state.log.replication.factor 事务主题的复制因子  这个官方文档给的3实际是1
transaction.state.log.min.isr 覆盖事务主题的min.insync.replicas配置 这个官方文档给的2实际是1

num.partitions 新建Topic时默认的分区数

default.replication.factor 自动创建topic时的默认副本的个数

启动后的server.properties的情况

############################# Internal Topic Settings  #############################                       
# The replication factor for the group metadata internal topics "__consumer_offsets" and "__transaction_state"
# For anything other than development testing, a value greater than 1 is recommended for to ensure availability such as 3.
offsets.topic.replication.factor=1                                                                                        
transaction.state.log.replication.factor=1                                                                                
transaction.state.log.min.isr=1  

Kafka动态增加Topic的副本

https://www.cnblogs.com/xiao987334176/p/10315176.html

docker exec kafka kafka-reassign-partitions.sh --zookeeper 192.168.153.128:2181,192.168.153.129:2181,192.168.153.130:2181 --reassignment-json-file /logs/consumer.json --execute

官方文档  

http://kafka.apachecn.org/documentation.html#configuration

 

 

 

 搭建kafka管理平台

kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：

管理多个集群
轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）
运行首选副本选举
使用选项生成分区分配以选择要使用的代理
运行分区重新分配（基于生成的分配）
使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）
删除主题（仅支持0.8.2+并记住在代理配​​置中设置delete.topic.enable = true）
主题列表现在指示标记为删除的主题（仅支持0.8.2+）
批量生成多个主题的分区分配，并可选择要使用的代理
批量运行重新分配多个主题的分区
将分区添加到现有主题
更新现有主题的配置
在centos中，执行如下命令拉取镜像，创建对应容器，以及打开防火墙：

docker pull sheepkiller/kafka-manager
docker run -it -d --rm  -p 9000:9000 -e ZK_HOSTS="192.168.9.219:2181" --net=host sheepkiller/kafka-manager
firewall-cmd --add-port=9000/tcp
 

 

 

jack_rose_l
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka高可用搭建
weixin_45770700的博客
08-30 102
启动zookeeper 启动kafka nohup bin/kafka-server-start.sh config/server.properties & 关闭kafka bin/kafka-server-stop.sh 单机 随机选择一台服务器把kafka传上去:node7-2 # 解压 tar -xzf kafka_2.12-2.5.0.tgz # 重命名 mv kafka_2.12-2.5.0 kafka # 删除tar包 rm -rf kafka_2.12-2.5.0.
kafka 问题
pinglanyinjiu的博客
07-06 2068
1.  http://blog.csdn.net/qq_19427739/article/details/51095463 java编译中出现了Exception in thread “main” java.lang.UnsupportedClassVersionError 起因：  StringBuilder不能赋值？不对，错误原因是因为下面报错的log： 
Docker安装Kafka教程（超详细）
热门推荐
y393016244的博客
08-23 5万+
超详细的Docker安装Kafka教程
Docker安装kafka简单步骤
q2422442709的博客
12-05 8583
docker安装kafka
【云原生 | 60】Docker中通过docker-compose部署kafka集群
最新发布
小鹏linux的博客
05-29 1032
​进入eagle即可查看kafka状态http://127.0.0.1:8048/ 用户名密码是admin/123456
【Docker】手把手教你使用Docker安装kafka【详细教程】
m0_64210833的博客
11-03 2万+
手把手教你使用Docker安装kafka
docker环境下安装kafka
m0_38090892的博客
06-12 3100
docker环境下安装kafka 一、安装kafka单机版 1、拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2、启动镜像 docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localt...
Docker中安装kafka
m0_60853780的博客
03-08 3887
在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。1.在docker中拉取zookeeper 镜像2、运行zookeeper 服务3、查看docker 下是否正常运行zookeeper 服务docker ps。
Kafka 搭建详解
07-02
Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在Web应用中非常常见，这些数据包括网站的PV、用户访问了什么内容、搜索了什么内容等。这些数据通常以日志的形式记录...
kafka 搭建
06-07
kafka搭建，简单了进行了一下配置，亲测可用
kafka搭建.zip
08-12
在本压缩包“kafka搭建.zip”中，我们聚焦于Apache Kafka的集群搭建过程，它是一个分布式流处理平台，常用于大数据实时处理、消息传递和日志聚合等场景。Kafka集群的构建离不开Zookeeper，这是一个分布式协调服务，...
kafka安装包kafka搭建
12-10
版本kafka_2.13-2.5.0. 官网下载太慢了,备份一下. 直接可以用 启动方法 方法一：加守护进程启动 bin/kafka-server-start.sh -daemon config/server.properties 方法二：通过后台来启动 nohup kafka-server-start.sh ...
kafka搭建套装.zip
03-26
【标题】：“kafka搭建套装.zip”所包含的是一份完整的Apache Kafka搭建教程与环境配置解决方案，适合初学者和有经验的开发者进行快速部署和问题排查。 【描述】：“20200326这里存放的是今日我搭建kafka过程中使用...
docker安装kafka
a...Z
06-17 3856
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。数据存储。
Docker 安装 Kafka
蜗牛的博客
12-10 3234
一、准备工作 1、安装Docker https://blog.csdn.net/u011374856/article/details/103071964 2、创建目录，注意：这是数据存放目录，保障下次重新安装数据不丢失 3、创建bridge网络并指定IP区间，注意：多容器IP访问必备 #创建自定义网络 docker network create --driver bridge ...
docker安装kafka【手把手系列】
qq_58353992的博客
03-19 4483
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。
分布式消息流处理平台kafka(一)-kafka单机、集群环境搭建流程及使用入门
最爱嫣夜来
07-21 3384
自带了zookeeper服务， 不需要额外搭建zookeeper集群服务，如果不想使用也可以使用自己搭建的zookeeper集群。下面主要介绍如何使用自带了zookeeper服务来搭建zookeeper集群主要就是修改$KAFKA_HOME/config/zookeeper.properties, 如果是自己搭建的zookeeper集群， 修改的就是zoo.cfg配置文件， 修改配置文件如下主要就是配置每台zookeeper节点的dataDir参数和增加集群配置，如下。
Docker 安装Kafka
zhouzhiwengang的专栏
08-05 4622
第一步：查看本地镜像、检索Kafka镜像和下载Kafka 镜像# 查看本地镜像docker images# 检索Kafka镜像docker search kafka# 下载Kafka 镜像指定版本docker pull wurstmeister/kafka:latest 第二步：启动ZookeeperDocker 安装ZooKeeper 请参考:Docker安装ZooKeeper第三步：启动Kafkadocker run -d --name kafka \ -p 9092:9092 \ -e KAFKA
kafka详解及集群环境搭建
被生活耽误的旅行者
11-15 7127
kafka详解及集群环境搭建
docker 搭建kafka
04-29
可以通过 Docker 来搭建 Kafka，步骤如下： 1. 在 Docker 中拉取 Kafka 镜像 ``` docker pull wurstmeister/kafka ``` 2. 创建一个 Docker 网络，方便容器之间的通信 ``` docker network create kafka-net ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值