Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
文章目录
kafka思维导图
kafka经典面试题
- 如何获取 topic 主题的列表
- 生产者和消费者的命令行是什么?
- consumer 是推还是拉?
- 讲讲 kafka 维护消费状态跟踪的方法
- 讲一下主从同步
- 为什么需要消息系统,mysql不能满足需求吗?
- Zookeeper对于Kafka的作用是什么?
- 数据传输的事务定义有哪三种?
- Kafka 判断一个节点是否还活着有那两个条件?
- Kafka 与传统 MQ 消息系统之间有三个关键区别
- 讲一讲 kafka 的 ack 的三种机制
- 消费者如何不自动提交偏移量,由应用提交?
- 消费者故障,出现活锁问题如何解决?
- 如何控制消费的位置
- kafka 分布式(不是单机)的情况下,如何保证消息的顺序消费?
- kafka 的高可用机制是什么?
- kafka 如何减少数据丢失
- kafka 如何不消费重复数据?比如扣款,我们不能重复的扣。