如何避免将Kafka broker机器的hostname注册进zookeeper

最新推荐文章于 2022-02-08 10:05:05 发布
最新推荐文章于 2022-02-08 10:05:05 发布
阅读量3k 收藏 4
点赞数 3
分类专栏： work-notes 文章标签： kafka bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxlchinaren/article/details/83303708
版权
本文介绍了在遇到Kafka MirrorMaker复制数据时遇到的由于broker在Zookeeper中注册为hostname导致的问题。通过对比生产与测试集群的Zookeeper配置，发现测试集群缺少`advertised.listeners`配置，从而导致使用hostname注册。解决方案是添加`advertised.listeners`配置，确保使用IP地址，从而解决DNS解析失败的问题。
摘要由CSDN通过智能技术生成

起因，在使用mirror-maker从生产集群topic往测试集群copy数据时，报错如下：

[2018-10-23 10:21:47,821] FATAL [mirrormaker-thread-2] Mirror maker thread failure due to  (kafka.tools.MirrorMaker$MirrorMakerThread)
java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for UMETRIP_ACTIVITY_COMPLETE_TOPIC-22: 30048 ms has passed since batch creation plus linger time
    at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.valueOrError(FutureRecordMetadata.java:94)
    at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:64)
    at org.apache.kafka.clients.producer.internals.FutureRecordMetadata.get(FutureRecordMetadata.java:29)
    //.......

结合测试集群在kafkaManager上的broker列表显示hostname而非ip，怀疑mirrorMaker连接测试集群时DNS解析hostname失败（预计可通过mirror-maker输出debug日志验证）。

最低0.47元/天 解锁文章
wxl24life
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka broker 常规配置参数
01-07
kafka broker 常规配置 ----总结自《kafka 权威指南》 broker.id：broker 的标识符，默认为 0。可设置为任意整数，这个值在 kafka 集群里必须要是唯一的。 port：设置监听端口。如果使用 1024 以下的端口，...
kafka2.12安装包及环境配置
01-18
在本文中，我们将深入探讨如何在您的系统上安装和配置Kafka 2.12以及Zookeeper 3.4.12。Kafka是一个分布式流处理平台，常用于实时数据处理和消息传递，而Zookeeper则是一个分布式协调服务，是Kafka运行不可或缺的一...
kafka文档： 配置选项翻译
好读书，每有会意，便欣然忘食。
11-17 2197
问题导读 1.broker.id的作用是什么？ 2.max.message.bytes表示什么含义？ 3.group.id是用来标识什么的？ 来源：http://kafka.apache.org/documentation.html#configuration 3.     配置项 Kafka在配置文件中使用key-value方式进行属性配置
kafka中Broker常用配置
weixin_42324471的博客
12-28 950
broker.id 解释：每个Broker的唯一标识，默认为0 建议采用形式host1.xx.com,host2.xx.com listeners 解释：监听端口，默认9092，如果使用1024以下端口，需要使用root权限启动Kafka。 num.network.threads 解释：服务器用于接收来自网络的请求并向网络发送响应的线程数 默认值为3 num.io.threads 解释：服务器用于处理I/O请求（可能包括磁盘I/O）的线程数 默认值8 socket.send.buffer.bytes 解释
Zookeeper
weixin_38204723的博客
02-08 1397
Zookeeper是什么 ZooKeeper是一个分布式协调服务，可用于服务发现、分布式锁、分布式领导选举、配置管理等。ZooKeeper官方架构图如下： 这一切的基础，都是ZooKeeper提供了一个类似于Linux文件系统的树形结构（可认为是轻量级的内存文件系统，但只适合存少量信息，完全不适合存储大量文件或者大文件），同时提供了对于每个节点的监控与通知机制。 既然是一个文件系统，就不得不提ZooKeeper是如何保证数据的一致性的。后面将介绍ZooKeeper如何保证数据一致性，如何进行领导选举，以
zookeeper配置部署
Perfect is Shit
03-30 2290
▉本例选用三台server做实验，采用vmware虚拟三台redhat7.3的server；   主机名称分别为host01、host02、host03；   IP地址分别为192.168.30.128、192.168.30.129、192.168.30.130；   zookeeper安装路径为：/opt/soft/zookeeper-3.4.11，路径不绝对，根据你自己的喜欢安装就好，只要你知...
Kafka学习整理六(server.properties配置实践)
热门推荐
LOUISLIAOXH的专栏
06-02 2万+
Kafka的server.properties配置实践
Kafka配置信息.docx
10-28
* `chroot`：ZooKeeper 允许你增加一个“chroot”路径，将集群中所有 Kafka 数据存放在特定的路径下。当多个 Kafka 集群或者其他应用使用相同的 ZooKeeper 集群时，可以使用这个方式设置数据存放路径。 Server 配置...
kafka_2.11-2.2.2.tgz
07-07
2. `zookeeper.connect`：连接ZooKeeper的地址，格式为`hostname:port`。 3. `log.dirs`：Kafka数据存储目录，需要预先创建。 4. `listeners`：设置Kafka监听的网络接口和端口。 五、安装ZooKeeper Kafka依赖...
kafka2.1+zookeep3.4安装包.zip
01-10
本文将详细介绍如何安装和配置Kafka 2.1以及ZooKeeper 3.4。 **一、ZooKeeper的安装与配置** 1. **下载ZooKeeper**: 从Apache官方网站获取ZooKeeper 3.4的最新稳定版本。在本例中，你已经有一个包含ZooKeeper的...
Zookeeper 一 基础知识以及简单命令
王佳宇的个人博客
03-29 744
Zookeeper工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察着的注册，一旦这些数据的状态发生变化，Zookeeper讲讲负责通知已经在Zookeeper上注册的那些观察者作出响应的反应。 Zookeeper特点 一个领导者（Leader），多个跟随者（Follower）组成的集群 集群中只要有半...
一文读懂zookeeper，安装，集群，配置，节点操作，Java接口，超详细
lzq00277的博客
06-30 432
一、安装 1.zookeeper包的下载地址：zookeeper-3.5.7 2.解压： tar -xvf apache-zookeeper-3.5.7-bin.tar.gz 3.本文中的@{ZK_HOME}：代表zookeeper的主目录，即tar包的解压目录，目录结构如下： 解压完成即安装完成！ 二、配置文件解读： @{ZK_HOME}/conf下的zoo_sample.cfg即为zookeeper的主要配置文件，安装时需改名为zoo.cfg； 解压后配置文件初始状态如下（省略注释）： tickTi
RecordBatch分析
happy19870612's blog
06-02 3322
RecordBatch主要用于封装MemoryRecords以及其他的一些统计类型的信息。 一 核心字段 int recordCount: 保存的record个数 int maxRecordSize: 最大record的字节数 int attempts: 尝试发送当前RecordBatch的次数 long lastAttemptMs: 最后一次尝试发送的时间戳 long lastApp
kafka.common.KafkaException: Failed to parse the broker info from zookeeper: {"listener_security_pro
W
04-13 1079
报错详情 kafka.common.KafkaException: Failed to parse the broker info from zookeeper: {"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://master:9092"],"jmx_port":-1,"hos...
zookeeper安装部署主要流程（以zookeeper-3.4.6为例）
kinglyjn的博客
12-13 728
安装主要流程1、配置hosts、hostname，测试各节点网络的连通性 2、解压zookeepr-3.4.6.tar.gz，编辑/etc/profile配置环境变量（注意. /etc/profile 或 source /etc/profile） 3、修改zookeeper篇日志文件zoo.cfgubuntu@supervisor01z:~$ vi zookeeper-3.4.6/conf/zoo.
Zookeeper集群部署
IT
04-28 924
Zookeeper是一个开源的分布式协调服务，由知名互联网公司Yahoo创建，它是Chubby的开源实现；换句话讲，Zookeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列。
一文彻底搞懂Zookeeper
一个有趣、有料、有内涵的地方!
11-12 3794
本文是基于CentOS ...
Kafka安装配置之Broker配置
Simon的博客
10-21 2735
                             Kafka安装配置之Broker配置 常规配置： broker.id 每个broker都需要有一个标识符，使用broker.id来表示。它的默认值是0，也可以被设置成其他的任意整数。这个值在整个Kafka集群里必须是唯一的。 port 如果使用配置样本来启动Kafka，他会监听9092端口，可以修改为其他任意可用端口...
[Apache Kafka]Kafka集成
zdy0_2004的专栏
01-26 778
http://www.cnblogs.com/w1991/p/5155202.html Storm集成Kafka Storm简介 少量数据的实时处理可以使用JMS（Java Messaging Service）这类技术，但是数据量很大时便会出现性能瓶颈。而且这些方案不适合横向扩展。 Storm是开源的分布式实时数据处理系统。它可用于很多场景，如实时分析（real
Kafka配置详解：Broker、Consumer与Producer设置
例如，`hostname1:port1,hostname2:port2,hostname3:port3/chroot/path`会将所有Kafka数据放在`/chroot/path`下。在启动Broker前，需确保在ZooKeeper中创建该路径。 4. **其他重要配置**： - `num.network....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值