kafka
wzw12315
这个作者很懒,什么都没留下…
展开
-
kafka练习测试
一、创建topic为albert,partition数目为30,replication-factor为2.如截图所示: [root@hd1 bin]# ./kafka-topics.sh --zookeeper hd1.bigdata:2181,master1.bigdata:2181,master2.bigdata:2181 --create --topic albert --parti...原创 2017-10-19 13:46:32 · 559 阅读 · 0 评论 -
Kafka 消息偏移量
Kafka是大数据领域常用的消息队列,其高效的吞吐量和分布式容错等特性是其收到青睐的重要原因。kafka消息的位置用好Kafka,维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的Exactly-once是至关重要的。kafka的消息所在的位置Topic、Partitions、Offsets三个因素决定。Kafka消费者消费的消息位置还与consumer的group.id有关...转载 2017-10-13 15:52:59 · 6303 阅读 · 0 评论 -
Kafka 之 入门
一、入门1. 简介Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组...转载 2017-10-13 17:18:39 · 182 阅读 · 0 评论 -
kafka学习笔记:知识点整理
一、为什么需要消息系统1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。...转载 2017-10-16 11:09:19 · 360 阅读 · 0 评论