kafka--基础知识点--14--kafka部署

最新推荐文章于 2023-03-21 20:47:06 发布
最新推荐文章于 2023-03-21 20:47:06 发布
阅读量207 收藏
点赞数
分类专栏： kafka 文章标签： kafka dockercompose 单机 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chasing__Dreams/article/details/115500899
版权

单机部署win10

此处使用docker-compose部署，因此前提是安装好docker和docker-compose

1 单机部署

1.1 kafka-single

----kafka-single
  ----docker-compose.yml

1.2 docker-compose.yml

version: "3"
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka 
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.0.8.11  # IP是宿主机IP，不是kafka容器IP
      KAFKA_CREATE_TOPICS: "test:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
        - /var/run/docker.sock:/var/run/docker.sock

1.3 启动

[root@lighthouse zookeeper-cluster]# docker-compose ps

1.4 测试是否启动成功

1.4.1 使用zkCli.sh测试

在本地配置zookeeper，但并不在本地启动zookeeper，主要是为了使用zkCli.sh查看kafka集群是否启动成功。zookeeper本地配置中的1.1-1.4。

(base) [root@lighthouse kafka-cluster]# zkCli.sh
Connecting to localhost:2181
...
...
...
WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] get /cluster/id
{"version":"1","id":"_LrguUKmSSy9Mowvn3VAxQ"}
[zk: localhost:2181(CONNECTED) 1] ls /brokers/ids
[1, 2, 3]
[zk: localhost:2181(CONNECTED) 2] ls /brokers/topics
[__consumer_offsets, test]
[zk: localhost:2181(CONNECTED) 3]
14.2 使用客户端命令测试

查看topic列表

==使用生产者和消费者测试
kafka_2.12-2.2.0目录是通过直接下载kafka_2.12-2.2.0.tgz再解压即可。

查看topic列表

另打开一个终端窗口，进入kafka_2.12-2.2.0/bin目录

(base) [root@lighthouse bin]# ./kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
test

使用生产者和消费者测试

另打开一个终端窗口，进入kafka_2.12-2.2.0/bin目录

./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>abc
>def
>opq

另打开一个终端窗口，进入kafka_2.12-2.2.0/bin目录

(base) [root@yangkang bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
abc
def
opq

2 集群部署

单台物理机上使用docker启动3个zk容器和3个kafka容器

2.1 kafka-cluster目录结构

----kafka-cluster
  ----docker-compose.yml
  ----kafka
    ----kafka1
    ----kafka2
    ----kafka3
  ----zookeeper
    ----zoo1
      ----data
        ----myid
      ----datalog
      ----config
        ----zoo.cfg
    ----zoo2
      ----data
        ----myid
      ----datalog
      ----config
        ----zoo.cfg
    ----zoo3
      ----data
        ----myid
      ----datalog
      ----config
        ----zoo.cfg
  ----kafka_2.12-2.2.0

2.2 网络配置

zookeepermyidip端口映射
zoo11172.16.238.112181:2181
zoo22172.16.238.122182:2181
zoo33172.16.238.132183:2181
kafkabroker_idip端口映射
kafka11172.16.238.219092:9092
kafka22172.16.238.229093:9092
kafka33172.16.238.239094:9092

2.3 配置文件

2.3.1 docker-compose.yml
version: '3.1'

services:
  zoo1:
    image: zookeeper
#    restart: always
    hostname: zoo1
    ports:
      - 2181:2181
    networks:
      mynet:
        ipv4_address: 172.16.238.10
    volumes:
      - ./zookeeper/zoo1/data:/data
      - ./zookeeper/zoo1/datalog:/data/log
      - ./zookeeper/zoo1/config:/conf
  zoo2:
    image: zookeeper
#    restart: always
    hostname: zoo2
    ports:
      - 2182:2181
    networks:
      mynet:
        ipv4_address: 172.16.238.11
    volumes:
      - ./zookeeper/zoo2/data:/data
      - ./zookeeper/zoo2/datalog:/data/log
      - ./zookeeper/zoo2/config:/conf
  zoo3:
    image: zookeeper
#    restart: always
    hostname: zoo3
    ports:
      - 2183:2181
    networks:
      mynet:
        ipv4_address: 172.16.238.12
    volumes:
      - ./zookeeper/zoo3/data:/data
      - ./zookeeper/zoo3/datalog:/data/log
      - ./zookeeper/zoo3/config:/conf
  kafka1:
    image: wurstmeister/kafka
#    restart: always
    hostname: kafka1
    container_name: kafka1
    ports:
      - 9092:9092
    environment:
      KAFKA_BROKER_ID: 1 
      KAFKA_ADVERTISED_HOST_NAME: 10.0.8.11  # IP是宿主机IP，不是kafka1容器IP
      KAFKA_CREATE_TOPICS: "test:1:1"  # 启动后会自动创建一个1个分区1个副本的主题，"主题:分区数：副本数"
      KAFKA_MESSAGE_MAX_BYTES: 2000000 #单条消息最大字节数
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181
    volumes:
       - /var/run/docker.sock:/var/run/docker.sock
       - ./kafka/kafka1:/kafka
    depends_on:
      - zoo1
      - zoo2
      - zoo3
    networks:
      mynet:
        ipv4_address: 172.16.238.21
  kafka2:
    image: wurstmeister/kafka
#    restart: always
    hostname: kafka2
    container_name: kafka2
    ports:
      - 9093:9092
    environment:
      KAFKA_BROKER_ID: 2 
      KAFKA_ADVERTISED_HOST_NAME: 10.0.8.11
      KAFKA_MESSAGE_MAX_BYTES: 2000000 #单条消息最大字节数
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181
    volumes:
       - /var/run/docker.sock:/var/run/docker.sock
       - ./kafka/kafka2:/kafka
    depends_on:
      - zoo1
      - zoo2
      - zoo3
    networks:
      mynet:
        ipv4_address: 172.16.238.22
  kafka3:
    image: wurstmeister/kafka
#    restart: always
    hostname: kafka3
    container_name: kafka3
    ports:
      - 9094:9092
    environment:
      KAFKA_BROKER_ID: 3 
      KAFKA_ADVERTISED_HOST_NAME: 10.0.8.11 
      KAFKA_MESSAGE_MAX_BYTES: 2000000 #单条消息最大字节数
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181
    volumes:
       - /var/run/docker.sock:/var/run/docker.sock
       - ./kafka/kafka3:/kafka
    depends_on:
      - zoo1
      - zoo2
      - zoo3
    networks:
      mynet:
        ipv4_address: 172.16.238.23
networks:
  mynet:
    driver: bridge
    ipam:
      driver: default
      config:
        - 
          subnet: 172.16.238.0/24
          gateway: 172.16.238.1
2.3.2 zoo1/config/zoo.cfg、zoo2/config/zoo.cfg、zoo3/config/zoo.cfg

这三个配置文件内容相同

dataDir=/data
dataLogDir=/datalog
tickTime=2000
initLimit=5
syncLimit=2
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60
standaloneEnabled=true
admin.enableServer=true
clientPort=2181
server.1=172.16.238.10:2888:3888
server.2=172.16.238.11:2888:3888
server.3=172.16.238.12:2888:3888
4lw.commands.whitelist=*

2.3.3 myid

zoo1/data/myid

1

zoo2/data/myid

2

zoo3/data/myid

3

2.4 启动

[root@lighthouse zookeeper-cluster]# docker-compose ps

2.5 测试是否启动成功

2.5.1 使用zkCli.sh测试

在本地配置zookeeper，但并不在本地启动zookeeper，主要是为了使用zkCli.sh查看kafka集群是否启动成功。zookeeper本地配置中的1.1-1.4。

启动一个终端窗口，通过zoo1测试

(base) [root@lighthouse kafka-cluster]# zkCli.sh
Connecting to localhost:2181
...
...
...
WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] get /cluster/id
{"version":"1","id":"_LrguUKmSSy9Mowvn3VAxQ"}
[zk: localhost:2181(CONNECTED) 1] ls /brokers/ids
[1, 2, 3]
[zk: localhost:2181(CONNECTED) 2] ls /brokers/topics
[__consumer_offsets, test]
[zk: localhost:2181(CONNECTED) 3]

另启动一个终端窗口，通过zoo2测试

(base) [root@lighthouse kafka-cluster]# zkCli.sh
Connecting to localhost:2181
...
...
...
WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] close
...
...
...
[zk: localhost:2181(CONNECTED) 1] connect localhost:2182
...
...
...
[zk: localhost:2182(CONNECTED) 2] get /cluster/id
{"version":"1","id":"_LrguUKmSSy9Mowvn3VAxQ"}
[zk: localhost:2181(CONNECTED) 3] ls /brokers/ids
[1, 2, 3]
[zk: localhost:2181(CONNECTED) 4] ls /brokers/topics
[__consumer_offsets, test]

另启动一个终端窗口，通过zoo3测试

通过zoo3测试与通过zoo2测试的方法相同。

2.5.2 使用客户端命令测试

kafka_2.12-2.2.0目录是通过直接下载kafka_2.12-2.2.0.tgz再解压即可。

查看topic列表

另打开一个终端窗口，进入kafka_2.12-2.2.0/bin目录

(base) [root@lighthouse bin]# ./kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
test

使用生产者和消费者测试

另打开一个终端窗口，进入kafka_2.12-2.2.0/bin目录

./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>abc
>def
>opq

另打开一个终端窗口，进入kafka_2.12-2.2.0/bin目录

(base) [root@yangkang bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
abc
def
opq
Chasing__Dreams
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka-manager-1.3.3.21
08-22
【Kafka-Manager 1.3.3.21 知识点详解】 Kafka-Manager 是一个基于 Apache Kafka 的开源管理工具，由 XebiaLabs 开发，旨在简化 Kafka 集群的管理和监控。它提供了直观的 Web UI，帮助用户轻松地管理 Kafka 集群，...
kafka集群部署
FanGer的博客
06-30 339
这里3台机器集群ip如下 192.168.0.101 192.168.0.102 192.168.0.103 kafka安装需要依赖zookeeper，我们这里已经在这3台机器上安装了zookeeper集群。 1、下载解压kafka cd /usr/local/soft; wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz; tar -xzvf kafka_2.13-2.8.0.tgz; mv kafka_2.13-2.5.0
Kafka如何配置内外网多ip访问
m0_66705151的博客
03-21 5704
Kafka如何配置内外网多ip访问
分布式中间件之Kafka
weixin_44963129的博客
11-06 2814
安装kafka 下载地址 ​ https://kafka.apache.org/documentation/#gettingStarted 解压 tar -zxvf kafka_2.12-2.4.1-C /usr/local/ 进入到config目录，编辑 server.properties 配置文件 # 每个broker节点的id，集群架构下要唯一 broker.id = 0 # kafka对外提供的ip和端口号 #listeners=PLAINTEXT://:9092 # 这是系统默认的 # 这里的ip
kafka绑定ip_Spring boot + Kafka踩坑之路
weixin_42498981的博客
01-22 1136
近期学习Kafka，在搭建过程中遇到了一些坑，总结下，分享了出来。首先，我们要先知道什么是Kafaka。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一...
【Kafka】(一)Kafka的单机配置，以及集群环境部署
JeffHan^_^的博客
05-26 1057
1. 部署前讲解
利用docker和docker-compose部署单机kafka
01-20
【知识点详解】 本文将详细介绍如何使用Docker和Docker Compose部署单机版Apache Kafka，以及如何进行测试和验证其工作状态。 1. **Docker基础** Docker是一种流行的容器化技术，它允许我们将应用程序及其依赖...
kafka-2.13-3.5.0+scala-2.13.2
06-30
在Kafka 3.5.0中，我们可以期待以下核心知识点： 1. **发布/订阅模型**：Kafka基于发布/订阅模式，生产者发布消息到主题，消费者订阅这些主题并消费消息。 2. **高吞吐量**：Kafka设计时考虑了大规模数据处理，能...
kafka-的安装包!
最新发布
10-17
随着对 Kafka 的深入使用，你可能还会涉及更多的知识点，如消费者组管理、Kafka Connect、Kafka Streams 等，这些都是 Kafka 功能强大的体现。记得随时查阅官方文档和社区资源，以获取最新的信息和支持。
kafka-m2
03-28
【标题】"kafka-m2"指的是Apache Kafka的管理工具Kafka Manager的Maven仓库版本，通常用于管理和监控Kafka集群。...通过理解和掌握这些知识点，你可以有效地管理和监控Kafka集群，确保数据流的稳定和高效。
kafka的advertised.host.name参数 外网访问配置
大叶子不小的博客
05-25 2248
kafka的server.properties文件 ```host.name```开始只绑定在了内部IP上，对外网卡无法访问。 把值设置为空的话会kafka监听端口在所有的网卡上绑定。但是在外网访问时，客户端又遇到了```java.nio.channels.ClosedChannelException```异常信息，server端用tcpdump分析的时候发现客户端有传递kafka所在机器的机器名过来。在client里断点跟踪一下发现是findLeader的时候返回的元信息是机器名而不是IP。客户端无法
kafka配置项host.name advertised.host.name
weixin_30865427的博客
04-26 1184
遇到的问题： 在本机或者其他机器telnet IP 9092，通，使用域名也通，telnet 127.0.0.1 9092不通 host.name：按配置文件说明，是Kafka绑定的interface。其实这个说明有点误导，下面会见到。 advertised.host.name：是注册到zookeeper，client要访问的broker地址。（可能producer也是拿这个值，...
Spring Kafka消费模式（single, batch）及确认模式（自动、手动）示例
drnrrwfs的博客
08-02 3161
接下来依次讲解这两种消费模式及其对应的ack模式的示例配置及代码。
【Kafka学习笔记】一、Kafka单机搭建（基于kafka_2.11-1.0.0）
xiao_zhu_kuai_pao的博客
12-09 333
PS：欢迎转载，但请注明出处，谢谢配合。 Kafka单机搭建（基于kafka_2.11-1.0.0）一、基础环境准备(CentOS，docker)二、环境准备（JDK）三、安装 Kafka四、使用 Kafka五、补充说明六、参考 一、基础环境准备(CentOS，docker)     本人操作系统Windows，不想用VMware搭建Linux系统，正好学过Docker，所以用Docker容器实现Linux环境（CentOS）。   &nbsp.
kafka的advertised.host.name参数
qq_39551064的博客
01-16 1174
参考文章点击查看原文
Linux Kafka 配置公网IP
qq_26331821的博客
12-16 3734
在config/server.properties内配置 #绑定内网IP listeners=PLAINTEXT://内网IP:9092 #绑定外网IP advertised.listeners=PLAINTEXT://外网IP:9092 advertised.host.name=外网IP```
根据ip和端口获取kafka列表、判断kafka中是否存在某个topic、获取kafka消息队列上有哪些topic
李程程的博客
04-15 3238
根据ip和端口获取kafka列表、判断kafka中是否存在某个topic、获取kafka消息队列上有哪些topic /* 判断topic是否在此消息队列上存在 IP和端口可以通过参数或属性动态获取 */ public static Boolean topicExistence(String topic) { Boolean ok = false; if (topic == null || topic.length() <=0){ return ok; } Properties proper
kafka配置公网IP访问
phymat.nico的专栏
06-10 1977
0.8版本有两个配置参数需要修改： advertised.host.name=171.220.211.158 #<==kafka开放到外网的IP advertised.port=10012 #<==9092映射到外网后的端口 最新版本0.10.x broker配置弃用了advertised.host.name 和 advertised.port 这两个个配置项，就配置advertised.listeners就可以了：
kafka设置外网消费者
热门推荐
mingover的专栏
06-22 2万+
kafka 的默认配置比较简单，但想把其端口暴露给外网（指定端口），则有一些额外的注意情况 kafka 的版本，0.8和0.10 的配置不同，这里以0.10.0.0 为主, 没有用集群，一台机做测试 zookeeper安装与启动 kafka 的安装包里自带有zookeeper,不过这里还是自行下载. 这里采用3.4.8版本 下载及安装请参考 http://zookeeper.ap...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值