扎克begod的专栏

书写有气质的代码,做有灵魂的设计。

kafka监控获取指定topic的消息总量

import kafka.api.PartitionOffsetRequestInfo; import kafka.common.TopicAndPartition; import kafka.javaapi.OffsetResponse; import kafka.javaapi.Partiti...

2019-03-06 20:51:47

阅读数 757

评论数 0

Kafka Broker配置(0.10版)

转自:http://orchome.com/472 基本配置如下: broker.id log.dirs zookeeper.connect 下文将详细论述了主题级别配置和默认值。 名称 描述 类型 默认 有效值 重要程度 zookeeper.conne...

2018-12-29 10:33:48

阅读数 153

评论数 0

Performance optimization for Apache Kafka - Brokers

转自:https://www.cloudkarafka.com/blog/2018-09-12-performance-optimization-apache-kafka-brokers-cloudkarafka.html The Kafka Broker is the central part...

2018-12-24 14:56:42

阅读数 96

评论数 0

国内大神开源 Kafka 监控系统Eagle 使用教程

转自:https://www.cnblogs.com/smartloli/p/9371904.html 1.概述        最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagl...

2018-12-07 18:00:53

阅读数 553

评论数 0

__consumer_offest的副本因子

           __consumer_offest不受server.properties中num.partitions和default.replication.factor参数的制约。相反地,它的分区数和备份因子分别由offsets.topic.num.partitions和offsets....

2018-12-07 14:01:50

阅读数 39

评论数 0

kafka-manager安装采坑日志

     可以参考这个https://www.cnblogs.com/tonglin0325/p/8963114.html       但是也不一定可以成功。 成功的,具体步骤:    1、先安装配置jdk,和sbt。jdk就不说了。说一下sbt这里有坑。       在官网http://...

2018-12-04 19:34:42

阅读数 74

评论数 0

kafka各种监控指标

kafka1.0.X 官网采集的监控指标:http://kafka.apache.org/0110/documentation.html#monitoring ### Kafka性能指标 #### kafka.server BrokerTopicMetrics,name=MessagesInP...

2018-11-30 14:01:48

阅读数 2399

评论数 4

JMX exporter采集kafka监控指标

配置kafka        JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999",指定9999端口暴露出来供采集。像配置kafka-manager采集,也是要做这个事情的。 下载j...

2018-11-30 10:13:58

阅读数 1025

评论数 0

kafka扩容 下线topic数据迁移限制带宽

转自kafka大神之作-推荐:http://orchome.com/510 Kafka提供一个broker之间复制传输的流量限制,限制了副本从机器到另一台机器的带宽上限。当重新平衡集群,引导新broker,添加或移除broker时候,这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户...

2018-11-28 17:42:38

阅读数 138

评论数 0

kafka工具包指南-翻译

Consumer Offset Checker          This tool has been removed in Kafka 1.0.0.  Use kafka-consumer-groups.sh to get consumer group details.          D...

2018-11-25 16:25:53

阅读数 52

评论数 0

kafka数据存储格式

转自:http://www.hemingliang.site/308.html 阅读目录 1  查看主题数据分布 2  查看log文件 3  查看index文件 4  查看timeindex文件 查看主题数据分布   [hadoop@m2 kafka_2.10-0.10.2.1]$...

2018-11-22 23:20:49

阅读数 1108

评论数 0

Kafka Cluster优化两三事

转自:https://bigdata-ny.github.io/2016/12/05/kafka-cluster-optimize/ 写在之前:本文将讲述Kafka Cluster配置和优化。 Kafka Cluster(相对于单个server)最大的优点:可扩展性和容错性。 ​ Kaf...

2018-11-22 18:25:57

阅读数 399

评论数 0

kafka数据迁移实践-腾讯技术实践

转自:https://juejin.im/post/5a65b2df518825732a6d9ff1         本文重点介绍kafka的两类常见数据迁移方式:1、broker内部不同数据盘之间的分区数据迁移;2、不同broker之间的分区数据迁移。 一、broker 内部不同数据盘之间进...

2018-11-15 18:39:02

阅读数 38

评论数 0

Kafka: 0.10 Producer 新增timestamp 以及使用配置

转自:https://segmentfault.com/a/1190000008674900 本文目录结构: Producer API入门 异步发送流程 Producer设计说明 Producer Configuration 1. Producer API...

2018-11-15 18:31:08

阅读数 592

评论数 0

Kafka 0.10.1.1 以时间戳查询消息和暂停某些分区消费和消费速度控制

转自:https://www.jianshu.com/p/a4c1d281b66a 1. 以时间戳查询消息 (1) Kafka 新版消费者基于时间戳索引消费消息 kafka 在 0.10.1.1 版本增加了时间索引文件,因此我们可以根据时间戳来访问消息。 如以下需求:从半个小时之前的offs...

2018-11-15 15:07:14

阅读数 188

评论数 0

intelliJ Idea 阅读源码准备

下载Gradle       gradle不同版本对jdk的要求不一样。我们下载4.1的,阅读0.10的源码。必须保证JDK版本大于1.7以上。kafka 2.0甚至是使用1.8以上,1.7不支持。      到这个地址下载,较为新的版本。http://services.gradle.org/...

2018-09-10 15:05:48

阅读数 303

评论数 0

kafka 生产者源码分析(一)- 生产者发送消息过程

基于kafka 0.10版本源码分析    早期kafka 0.8.22,0.9.X 版本kafka 生产者消费者服务端都是用scala编写。而且放在cores包下,新版本的客户端使用java实现,放在clients包下。      新的生产者客户端是一个进程,使用KafkaProducer对...

2018-08-14 11:40:24

阅读数 524

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭