![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
ITqingliang
一位努力的boy
展开
-
Kafka可靠性
如果auto.commit.enable=true,当consumer fetch了一些数据但还没有完全处理掉的时候,刚好到commit interval出发了提交offset操作,接着consumer crash掉了。这时已经fetch的数据还没有处理完成但已经被commit掉,因此没有机会再次被处理,数据丢失。如果auto.commit.enable=false,假设consumer的两个f...原创 2019-12-25 10:46:34 · 212 阅读 · 0 评论 -
Kafka基本命令
文章目录查看topic分布情况kafka-list-topic.sh创建TOPIC kafka-create-topic.sh重新分配分区kafka-reassign-partitions.sh为Topic增加 partition数目kafka-add-partitions.sh控制台接收消息控制台发送消息手动均衡topic, kafka-preferred-replica-election.sh...原创 2019-12-25 10:42:50 · 256 阅读 · 0 评论 -
kafka详细配置
kafka的配置分为 broker、producter、consumer三个不同的配置文章目录BROKER 的全局配置系统相关LOG相关TOPIC 相关复制(Leader、replicas) 相关ZooKeeper 相关CONSUMER 配置PRODUCER 的配置BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。系统相关...原创 2019-12-24 14:56:15 · 851 阅读 · 0 评论 -
快速理解Kafka分布式消息队列框架
kafka是什么简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)目标Scope(解决什么问题)kafka开发的主要初衷目标是构建一个用来处理海量日志,用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘,行为分析,运营监控等需求的情况下,需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。从需求的根本上来说,高吞...原创 2019-12-23 16:44:07 · 173 阅读 · 0 评论