Poppy_Evan的博客

本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。　　在新版本之前，如果要为已有的consumer group调整位移必须要手动编写Java程序调用KafkaConsumer#seek方法，费时费力不说还容易出错。0.11.0.0版本丰富了kafka-consumer-groups脚本的功能，用户可以直接使用该脚本很方便地为已

前言：设置消费者properties的两个参数，这两个参数觉得从哪开始消费的问题1、consumer.group.id2、properties.setProperty("auto.offset.reset", "earliest”) // latest注意：只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开始，不论"auto.offset.res...

网上有很多Kafka的测试文章，测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章，我会重点解释——为什么真快。（当然不是因为它用了Scala！！！！）生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。Kafka会把收到的消息都写入到硬盘中，它绝对不会...

转：http://blog.csdn.net/looklook5/article/details/42008079之前在做Kafka 整合Storm的时候，因为对Kafka 不是很熟，考虑过这样的一个场景问题，针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置，Storm每次从kafka 消费数据，都是通过zookeeper存储的数据offset，来判断需要获取消息在...

前言kafka的consumer分为High Level Consumer和Low Level Consumer。本文主要讲High Level Consumer Rebalance，至于High Level Consumer和Low Level Consumer Rebalance的具体内容可以参考这篇博文（https://blog.csdn.net/Poppy_Evan/article/d...

       这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分区需要打开更多地文件句柄 3 更多地分区会导致更高的不可用性 4 越多的分区可能增加端对端的延迟 5 越多的partition意味着需要客户端需要更多的内...

前言要理解kafka的leader选举，先了解下zookeeper的基本操作zookeeper的基本操作备注：本章主要是指作为zookeeper的客户端的基本操作1）四种节点类型PERSISTI   PERSIST_SEQUENTIAL   EPHEMERAL    EPHEMERAL_SEQUENTIAL（1）PERSIST：永久节点，会被持久化到磁盘之中。即使zooke...

前言为了数据的安全性，我们在实际的工作中，不可避免的需要考虑kafka的数据备份问题，否则数据丢失了，就无法恢复了。所以数据的备份机制是很重要的。副本介绍正常情况下，kafka里的数据都不能只有一份。假设我们保存了N个副本，即topic每个partition都有N个副本（Replica）。并且副本的个数一定小于broker个数。（因为每份数据的副本必须保存在不同的broker，否则没有...

前言CAP理论是Consistency、Availability和Partition tolerance这单个单词的缩写。1）Consistency（一致性）强一致性：数据更新后，可以立即感知到该更新。弱一致性：数据更新后，允许部分或者全部感知不到该更新。最终一致性：数据更新后，一定时间后，一定可以感知到该更新。总的来说就是：某个节点的写操作对其他节点的读可见。用通俗化描述...

一，Kafka Stream简介Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。它建立在流处理的一系列重要功能基础之上，比如正确区分事件事件和处理时间，处理迟到数据以及高效的应用程序状态管理。总而言之，Kafka Stream 并不是像Hadoop spark等一样的框架，而仅仅是一...

安装前期准备：1，准备三个节点（根据自己需求决定）2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper）3，关闭防火墙chkconfig iptables off一、下载安装包Kafka官网下载安装包 http://kafka.apache.org/downloads.html我们下载第二种（已经被编译过的），将安装包存在在 /s...

一，kafka简介     Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存是根据Topic进行归类，发送消息者称为Producer；消息接受者称为Consumer；此外kafka集群有多个kafka实例组成，每个实例(server)称为broker。...