![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 80
array020
这个作者很懒,什么都没留下…
展开
-
RocketMQ与Kafka对比(18项差异)
转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,转载 2015-01-18 22:42:30 · 127175 阅读 · 17 评论 -
Kafka学习之consumer配置(0.8.1版)
group.id 默认值:无唯一的指明了consumer的group的名字,group名一样的进程属于同一个consumer group。 zookeeper.connect 默认值:无指定了ZooKeeper的connect string,以hostname:port的形式,hostname和port就是ZooKeeper集群各个节点的hostname和port。 ZooKe...2014-07-03 17:05:15 · 693 阅读 · 0 评论 -
Kafka学习之Replication tools之controlled shutdown
原文地址:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdowncontrolled shutdown是啥意思?在0.8版本中,每一个partition可以有多个replica。这些replica分布在多个broker上,提供了高可用...2014-07-04 14:55:23 · 461 阅读 · 0 评论 -
Kafka学习之Replication tools之Preferred Replica Leader Election Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool这工具做了啥?为了支持replication功能,每一个partition可以有多个replica。一个partition的replic...2014-07-04 16:08:42 · 260 阅读 · 0 评论 -
Kafka学习之Replication tools之List Topic Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥?此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic,则会向ZK查询,获得所有的topic并展示它们的信息,其中有topic的名字,par...2014-07-04 16:29:47 · 179 阅读 · 0 评论 -
Kafka学习之Replication tools之Create Topic Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥?如果设置auto.create.topics.enable为true,则Kafka会默认自动创建topic。会使用默认的partition数量,replicatio...2014-07-04 16:36:45 · 359 阅读 · 0 评论 -
Kafka学习之Replication tools之Add Partition Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool此工具能做啥?Kafka的partition表示并发度的单元:一个topic的消息可以分布到多个partition上,并存储在多个server上。一旦创建了一个topic,就...2014-07-04 16:55:39 · 182 阅读 · 0 评论 -
Kafka学习之Replication tools之Reassign Partitions Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool此工具能做啥?此工具的作用跟Referred Replica Leader Election工具类似,都是为了平衡集群的负载。但工具不仅为某一个par...原创 2014-07-05 11:33:25 · 260 阅读 · 0 评论 -
Kafka学习之Replication tools之StateChangeLogMerger Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool此工具能做啥 ? 此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes,查明问题。集群中...2014-07-05 17:56:52 · 194 阅读 · 0 评论 -
Kafka学习之源代码环境搭建(eclipse)
主要参考:https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤: 1,安装Eclipse,略过,我的版本是: 2,安装scale插件,注意要跟你的eclipse版本对应,访问http://scala-ide.org/dow...2014-07-07 12:03:09 · 537 阅读 · 0 评论 -
Kafka学习之producer配置(0.8.1版)
metadata.broker.list 默认值:无,必填格式为host1:port1,host2:port2,这是一个broker列表,用于获得元数据(topics,partitions和replicas),建立起来的socket连接用于发送实际数据,这个列表可以是broker的一个子集,或者一个VIP,指向broker的一个子集。 request.required.acks 默...2014-07-03 16:17:51 · 494 阅读 · 0 评论 -
Kafka学习之broker配置(0.8.1版)
broker.id 默认值:无每一个broker都有一个唯一的id,这是一个非负整数,这个id就是broker的"名字",这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字,只要它是唯一的。 log.dirs 默认值:/tmp/kafka-logs一个用逗号分隔的目录列表,可以有多个,用来为Kafka存储数据。每当需要为一个新的partition分配...2014-07-03 14:15:48 · 307 阅读 · 0 评论 -
Kafka学习之Replication tools之Add Partition Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool此工具能做啥?Kafka的partition表示并发度的单元:一个topic的消息可以分布到多个partition上,并存储在多个server上。一旦创建了一个topic,就要原创 2015-01-04 16:20:01 · 1625 阅读 · 1 评论 -
Kafka学习之Replication tools之controlled shutdown
原文地址:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdowncontrolled shutdown是啥意思?在0.8版本中,每一个partition可以有多个replica。这些replica分布在多个broker上,提供了高可用。原创 2015-01-04 16:19:36 · 1872 阅读 · 0 评论 -
Kafka学习之Replication tools之Preferred Replica Leader Election Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool这工具做了啥?为了支持replication功能,每一个partition可以有多个replica。一个partition的replica列原创 2015-01-04 16:19:42 · 4310 阅读 · 0 评论 -
Kafka学习之Replication tools之Reassign Partitions Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool此工具能做啥?此工具的作用跟Referred Replica Leader Election工具类似,都是为了平衡集群的负载。但工具不仅为某一个partitio原创 2015-01-04 16:20:07 · 3265 阅读 · 0 评论 -
Kafka学习之Replication tools之StateChangeLogMerger Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool此工具能做啥 ? 此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes,查明问题。集群中的每原创 2015-01-04 16:20:13 · 1231 阅读 · 0 评论 -
Kafka学习之broker配置(0.8.1版)
broker.id 默认值:无每一个broker都有一个唯一的id,这是一个非负整数,这个id就是broker的"名字",这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字,只要它是唯一的。 log.dirs 默认值:/tmp/kafka-logs一个用逗号分隔的目录列表,可以有多个,用来为Kafka存储数据。每当需要为一个新的partition分配一个原创 2015-01-04 16:19:18 · 985 阅读 · 0 评论 -
Kafka学习之Replication tools之List Topic Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥?此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic,则会向ZK查询,获得所有的topic并展示它们的信息,其中有topic的名字,parti原创 2015-01-04 16:19:48 · 1003 阅读 · 0 评论 -
Kafka学习之源代码环境搭建(eclipse)
主要参考:https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤: 1,安装Eclipse,略过,我的版本是: 2,安装scale插件,注意要跟你的eclipse版本对应,访问http://scala-ide.org/downl原创 2015-01-04 16:20:19 · 4228 阅读 · 1 评论 -
Kafka学习之监控
参考文档:https://kafka.apache.org/documentation.html#monitoring Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来,比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中原创 2015-01-04 16:20:25 · 12204 阅读 · 1 评论 -
Kafka学习之Replication tools之Create Topic Tool
原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool此工具能干啥?如果设置auto.create.topics.enable为true,则Kafka会默认自动创建topic。会使用默认的partition数量,replication原创 2015-01-04 16:19:55 · 1489 阅读 · 0 评论 -
Kafka学习之监控
参考文档:https://kafka.apache.org/documentation.html#monitoring Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来,比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporter...2014-07-07 14:32:23 · 720 阅读 · 0 评论