kafka
tugangkai
四海皆为兄弟
展开
-
apache kafka技术分享系列(目录索引)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lizhitao/article/details/39499283 ...转载 2018-09-09 22:25:04 · 158 阅读 · 0 评论 -
Kafka HA Kafka一致性重要机制之ISR(kafka replica)
一、kafka replica 当某个topic的replication-factor为N且N大于1时,每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。 Replica的个数小于等于Broker的个数,也就是说,对于每个Partit...转载 2018-10-11 20:07:12 · 1684 阅读 · 2 评论 -
kafka入门知识
问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a distributed,par...转载 2018-11-12 17:10:25 · 111 阅读 · 0 评论 -
kafka和flume整合
关于Flume 的 一些核心概念: 组件名称 功能介绍 Agent代理 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。 Client客户端 生产数据,运行在一个独立的线程。 Source源 从Client收集数据,传递给Channel。 Sink接收器 从Channel收集数据...转载 2018-11-12 18:55:31 · 294 阅读 · 0 评论 -
flume与kafka集成
1.KafkaSink [生产者] a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type=netcat a1.sources.r1.bind=localhost a1.sources.r1.port=8888 a1.sinks.k1.type = org.apache.flume.si...原创 2018-11-12 18:58:29 · 157 阅读 · 0 评论