docker中运行kafka项目之问题记录

项目场景:

***本篇文章中描述的问题,暂未解决,做个记录,同时也希望遇到相同问题解决的小伙伴们能帮忙解答一下疑惑,谢谢!***


本地运行:

我在本地安装了docker,安装了kafka和zookeeper,准备运行springboot项目,结果本地能连接到kafka,能生产消息到kafka中,但是将项目部署在docker上以后就连接不到kafka:
在本地运行程序,以下为配置文件。

server:
  port: 19006
spring:
  kafka:
    bootstrap-servers: 127.0.0.1:9092
    producer:
      # 发生错误后,消息重发的次数。
      retries: 0
      #当有多个消息需要被发送到同一个分区时,生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小,按照字节数计算。
      batch-size: 16384
      # 设置生产者内存缓冲区的大小。
      buffer-memory: 33554432
      # 键的序列化方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 值的序列化方式
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      # acks=0 : 生产者在成功写入消息之前不会等待任何来自服务器的响应。
      # acks=1 : 只要集群的首领节点收到消息,生产者就会收到一个来自服务器成功响应。
      # acks=all :只有当所有参与复制的节点全部收到消息时,生产者才会收到一个来自服务器的成功响应。
      acks: 1
    consumer:
      # 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式,如1S,1M,2H,5D
      auto-commit-interval: 1S
      # 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理:
      # latest(默认值)在偏移量无效的情况下,消费者将从最新的记录开始读取数据(在消费者启动之后生成的记录)
      # earliest :在偏移量无效的情况下,消费者将从起始位置读取分区的记录
      auto-offset-reset: earliest
      # 是否自动提交偏移量,默认值是true,为了避免出现重复数据和数据丢失,可以把它设置为false,然后手动提交偏移量
      enable-auto-commit: false
      # 键的反序列化方式
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # 值的反序列化方式
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    listener:
      # 在侦听器容器中运行的线程数。
      concurrency: 5
      #listner负责ack,每调用一次,就立即commit
      ack-mode: manual_immediate
      missing-topics-fatal: false

项目启动后,进入kafka容器,消费kafka主题。

#1.进入kafka容器内
docker exec -it 59f6ba5dc015 /bin/bash
#2.进入bin目录
cd /opt/kafka/bin
#3.运行消费kafka主题的命令
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic mykafka
#4.可以看到下面图片,mykafka主题能消费到生产者发送的内容

在这里插入图片描述


docker上运行:

1.打好jar包后,写dockerfile文件

FROM java:8
EXPOSE 19005
ADD kafka-docker-1.0.jar kafka-docker-1.0.jar
RUN sh -c 'touch /kafka-docker-1.0.jar'
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar ./kafka-docker-1.0.jar" ]                                                                                                                 

在这里插入图片描述

2.运行jar包

docker build -t kafka_docker:1.0 -f Dockerfile .

在这里插入图片描述
3.查看镜像,并启动查看日志

#1.查看镜像
docker images
#2.启动
docker run -itd --name kafka-docker -p 19005:19005 --network test-net kafka_docker:1.0  /bin/bash
#3.查看日志
 docker logs -f aabc8ebf6d91
#4.日志报错连接不上kafka
  Bootstrap broker 127.0.0.1:9092 (id: -1 rack: null) disconnected

在这里插入图片描述

这个问题解决了好久了,一直没搞定,希望有人帮忙解惑!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值