- 博客(6)
- 收藏
- 关注
RSS订阅转载 Kafka为什么那么快的秘密
网上有很多Kafka的测试文章，测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章，我会重点解释——为什么真快。（当然不是因为它用了Scala！！！！）生产者（写入数据）生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。Kafka会把收到的消息都写入到硬盘中，它绝对不会...
2019-01-20 14:05:57
267
1
转载 关于Kafka 的消息日志Offset 的了解
转：http://blog.csdn.net/looklook5/article/details/42008079之前在做Kafka 整合Storm的时候，因为对Kafka 不是很熟，考虑过这样的一个场景问题，针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置，Storm每次从kafka 消费数据，都是通过zookeeper存储的数据offset，来判断需要获取消息在...
2019-01-19 18:45:26
1424
原创 kafka的High Level Consumer Rebalance
前言kafka的consumer分为High Level Consumer和Low Level Consumer。本文主要讲High Level Consumer Rebalance，至于High Level Consumer和Low Level Consumer Rebalance的具体内容可以参考这篇博文（https://blog.csdn.net/Poppy_Evan/article/d...
2019-01-19 13:08:10
314
转载 如何为Kafka集群选择合适的Partitions数量
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分区需要打开更多地文件句柄 3 更多地分区会导致更高的不可用性 4 越多的分区可能增加端对端的延迟 5 越多的partition意味着需要客户端需要更多的内...
2019-01-19 12:39:24
587
原创 kafka的leader选举过程（详细）
前言要理解kafka的leader选举，先了解下zookeeper的基本操作zookeeper的基本操作备注：本章主要是指作为zookeeper的客户端的基本操作1）四种节点类型PERSISTI PERSIST_SEQUENTIAL EPHEMERAL EPHEMERAL_SEQUENTIAL（1）PERSIST：永久节点，会被持久化到磁盘之中。即使zooke...
2019-01-12 22:03:57
6501
1
原创 zookeeper的广播模式和恢复模式
zookeeper是什么zookeeper是一个高性能分布式应用协调服务。zookeeper主要可以提供如下的服务：（1）Naming Service；（2）配置管理；（3）Leader Election；（4）服务发现；（5）同步；（6）Group Service；（7）Barrier；（8）分布式队列；（9）两阶段提交zookeeper的广播模式1、先来了解几个小知识点 1...
2019-01-05 12:46:26
2911
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人