kafka
abc_def1
有问题,欢迎探讨
展开
-
kafka java Api 地址
http://people.apache.org/~nehanarkhede/kafka-0.9-consumer-javadoc/doc/原创 2017-01-04 10:33:30 · 411 阅读 · 0 评论 -
关于auto.offset.reset的一些问题
转自:http://blog.csdn.net/luoww1/article/details/52023967关于auto.offset.reset的一些问题auto.offset.reset 默认值为largest,那么auto.offset.reset 有什么作用呢?auto.offset.reset定义了Consumer在ZooKeeper中发现没有初始的of转载 2017-12-15 11:30:55 · 1951 阅读 · 0 评论 -
用spring的InitializingBean作初始化
使用InitializingBean 的afterPropertiesSet方法,初始化kafka 消费者/** Eclipse Class Decompiler plugin, Copyright (c) 2017 Chen Chao. */package com.suning.fsp.common.kfk.lcbas;import java.util.HashMap;import j原创 2017-12-05 10:38:28 · 687 阅读 · 0 评论 -
kafka 学习资料
https://www.zhihu.com/question/56172498?sort=created原创 2017-07-25 14:26:27 · 305 阅读 · 0 评论 -
kafka 集群--3个broker 3个zookeeper创建实战
http://www.cnblogs.com/davidwang456/p/4238536.html原创 2017-07-26 10:31:40 · 415 阅读 · 0 评论 -
kafka offset 新存储机制
1.概述 目前,Kafka 官网最新版[0.10.1.1],已默认将消费的 offset 迁入到了 Kafka 一个名为 __consumer_offsets 的Topic中。其实,早在 0.8.2.2 版本,已支持存入消费的 offset 到Topic中,只是那时候默认是将消费的 offset 存放在 Zookeeper 集群中。那现在,官方默认将消费的offset存储在 Ka转载 2017-07-31 15:10:13 · 716 阅读 · 0 评论 -
Kafka无消息丢失配置
转自:http://www.cnblogs.com/huxi2b/p/6056364.htmlKafka无消息丢失配置Kafka到底会不会丢数据(data loss)? 通常不会,但有些情况下的确有可能会发生。下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-off,牺牲了吞吐量)。笔者会在该列表之后对列表中的每一项进行讨论转载 2017-07-20 14:36:28 · 399 阅读 · 0 评论 -
kafka 配置含义说明
Broker Configs PropertyDefaultDescriptionbroker.id 每个broker都可以用一个唯一的非负整数id进行标识;这个id可以作为broker的“名字”,并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上。你可以选择任意你喜欢的原创 2017-04-13 10:21:56 · 1845 阅读 · 1 评论 -
Zookeeper在kafka中的应用
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]Zookeeper在kafka中的应用@20150606 简介Kafka使用zookeeper作为其分布式协调框架,很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper,kafka能够生产者、消费者和broker在内的所以组件在无状态的情况下,建立起生产者和消费者转载 2017-04-14 20:24:11 · 1074 阅读 · 0 评论 -
Kafka的Leader的选举机制
Kafka的Leader是什么 首先Kafka会将接收到的消息分区(partition),每个主题(topic)的消息有不同的分区。这样一方面消息的存储就不会受到单一服务器存储空间大小的限制,另一方面消息的处理也可以在多个服务器上并行。 其次为了保证高可用,每个分区都会有一定数量的副本(replica)。这样如果有部分服务器不可用,副本所在的服务器就会接替上来,保证应用的持续性。转载 2017-04-17 17:03:31 · 13570 阅读 · 5 评论 -
kafka 配置详解
############################# System ##############################唯一标识在集群中的ID,要求是正数。broker.id=0#服务端口,默认9092port=9092#监听地址,不设为所有地址host.name=debugo01# 处理网络请求的最大线程数num.network.threads=2# 处理磁盘I转载 2017-03-29 20:16:47 · 331 阅读 · 0 评论 -
Windows上搭建Kafka运行环境
Windows上搭建Kafka运行环境完整解决方案请参考: Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题,在这里先列出来,以方便查询:1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Proce转载 2017-03-06 11:52:56 · 3760 阅读 · 0 评论 -
Zookeeper在kafka中的应用
转自:http://blog.csdn.net/tianbianlan/article/details/46387039Zookeeper在kafka中的应用@20150606 简介Kafka使用zookeeper作为其分布式协调框架,很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper,kafka能够生产者、消费者和broker在内的所以组转载 2017-12-31 15:19:58 · 412 阅读 · 0 评论