Kafka
Bonyin
这个作者很懒,什么都没留下…
展开
-
Kafka的复制机制。。。。
复制功能是kafka架构的核心,kafka自己描述的“一个分布式的、可分区的、可复制的日志提交服务”。复制保证了在集群的个别节点失效时仍然能保证kafka的可用性和持久。kafka使用topic来组织数据的,每个topic包含若干个partition,每个partition的有多个副本,这些副本都是保持在broker上面的。副本类型: leader副本:每个分区都有一个leader...原创 2019-01-24 15:56:58 · 2686 阅读 · 0 评论 -
kafka总结。。。
kafka的版本信息:kafka_2.10-0.10.0.1 zookeeper-3.4.7首先说明kafka里面的关键概念:broker:kafka 集群中包含的服务器。 broker (经纪人,消费转发服务)consumer:从 kafka 集群中消费消息的终端或服务producer:消息生产者,发布消息到 kafka 集群的终端或服务。topic:每条发布到 kaf...原创 2019-03-29 22:12:42 · 295 阅读 · 0 评论 -
kafka消息流处理流程。
流程说明:1、首先命令产看topic的详细信息:这个topic的partition-0的 leader是副本1号(0,1两个副本),partition-1的 leader是副本0号partition-2的 leader是副本1号2、producer 先从 zookeeper 的 "ls /brokers/topics/one_broker_topicsss/partit...原创 2019-03-29 22:36:36 · 1557 阅读 · 0 评论 -
kafka的索引机制
概述数据文件的分段和索引kafka解决查询效率的手段之一是将数据文件分段存储,可以配置每一个文件的大小。每一个端单独放在一个.log的文件中,数据文件命名是20个字符的长度,以每一个分段文件开始的最下offset来命名,其他位置用0填充。最初始的文件是00000000000000000000.log命名的,比如下一个log中的第一条消息的offset是18987,则该log文件的命名是00...原创 2019-04-02 10:06:24 · 2534 阅读 · 2 评论 -
利用log4j把日志输出到kafka消息队列中
先说明kafka的版本信息kafka_2.10-0.10.0.1接下来是在eclipse中进行测试的案例:以上是在把kafka的目录下面的libs下面的依赖copy的新建的java project中。注意我这里是用的kafka_2.10-0.10.0.1版本、下面给出log4j.propertied的配置信息log4j.rootLogger = info,stdout,kaf...原创 2019-04-08 20:12:30 · 2462 阅读 · 0 评论