Kafka实战
KarryChang.
三年的局点
展开
-
Kafka JVM 监控
除了主机监控之外,另一个重要的监控维度就是 JVM 监控。Kafka Broker 进程是一个普通的 Java 进程,所有关于 JVM 的监控手段在这里都是适用的。监控 JVM 进程主要是为了让你全面地了解你的应用程序(Know Your Application)。具体到 Kafka 而言,就是全面了解 Broker 进程。比如,Broker 进程的堆大小(HeapSize)是多少、各自的新生...原创 2020-05-06 21:52:32 · 1150 阅读 · 0 评论 -
Kafka主机级别监控
所谓主机监控,指的是监控 Kafka 集群 Broker 所在的节点机器的性能。通常来说,一台主机上运行着各种各样的应用进程,这些进程共同使用主机上的所有硬件资源,比如 CPU、内存或磁盘等。工作中常见的主机监控指标包括但不限于以下几种:机器负载(Load) CPU 使用率 内存使用率,包括空闲内存(Free Memory)和已使用内存(Used Memory) 磁盘 I/O 使用率...原创 2020-05-06 21:18:39 · 374 阅读 · 0 评论 -
Kafka Producer幂等性
Producer幂等性在 Kafka 中,Producer 默认不是幂等性的,但我们可以创建幂等性 Producer。它其实是 0.11.0.0 版本引入的新功能。在此之前,Kafka 向分区发送数据时,可能会出现同一条消息被发送了多次,导致消息重复的情况。在 0.11 之后,指定 Producer 幂等性的方法很简单,仅需要设置一个参数即可,即 props.put(“enable.idemp...原创 2019-12-23 17:31:29 · 809 阅读 · 0 评论 -
Kafka Broker端的参数设置
Broker 端参数目前 Kafka Broker 提供了近 200 个参数,这其中绝大部分参数都不用你亲自过问。当谈及这些参数的用法时,网上的文章多是罗列出一些常见的参数然后一个一个地给出它们的定义,事实上我以前写文章时也是这么做的。不过今天我打算换个方法,按照大的用途类别一组一组地介绍它们,希望可以更有针对性,也更方便你记忆。首先 Broker 是需要配置存储信息的,即 Broker ...原创 2019-12-23 17:22:24 · 420 阅读 · 0 评论 -
Kafka使用过程中的一些最佳实践
组内最近一年都在使用Kafka做消息中间件做数据的流式处理,总结一下使用过程的经验教训1.一些参数值的设定,主要是保证数据的不丢失block.on.buffer.full = true开启buffer缓存acks = all retries = MAX_VALUE生产者Producer端想kafka发送数据,要想数据不丢失,应该设置以上两个配置max.in.fli...原创 2019-12-23 16:47:24 · 336 阅读 · 0 评论