![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
scuter_victor
这个作者很懒,什么都没留下…
展开
-
Kafka学习笔记(三)
Apache Kafka集群架构上图即是Kafka集群架构概览图,以下将介绍图中的术语:Broker:为了维持负载均衡,Kafka集群一般是由多个broker组成。Kafka broker是无状态的,所以他们使用zookeeper维系集群的状态。一个broker单位时间(1秒)内可以处理成百上千的读写操作,并且可以hold住TB级的数据量。brokers的leader选举由zookeeper消化。Z翻译 2016-11-29 17:15:15 · 816 阅读 · 0 评论 -
Kafka学习笔记(一)
Apache Kafka 介绍一、Kafka是什么Apache Kafka是一种分布式的消息发布-订阅系统,而且是一种可以处理大量数据且能点对点传输消息的鲁棒的队列。Kafka适合线下和线上的消息消费。Kafka的消息会被持久化在磁盘并在集群中被复制多份备份防止数据丢失。Kafka必须部署在Zookeeper同步服务之上。Kafka可以和Apache Storm和Spark很好的结合,应用于实时数据翻译 2016-11-24 15:20:37 · 623 阅读 · 0 评论 -
Kafka学习笔记(二)
Apache Kafka 基本原理从上图,可以浅显的看到,一个topic配置了三个partition。Partition 1 有两个偏移量0和1;Partition 2 有四个偏移量0,1,2,3;Partition 3 有一个偏移量0。Broker中的replica的id与其server的id一致。总之,如果topic的replication factor被设置为3,Kafka将会对应每个Part翻译 2016-11-25 17:05:29 · 651 阅读 · 0 评论 -
Kafka使用进阶——消费者
Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0.9-consumer-client 当kafk转载 2017-01-21 22:25:07 · 19252 阅读 · 0 评论 -
Kafka某topic无法消费解决方案&Kafka某Topic数据清理
由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况,有三步去判断原因所在:step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障step B:若平台业务能正常消费其他topic的消息,则排除平台业务代码逻辑问题step C:不到万不得已,则只能手动删除原创 2017-05-25 22:42:49 · 26735 阅读 · 0 评论