kafka
LzwGlory
坚持自己的路
展开
-
分布式消息队列kafka系列介绍 — 配置文件详解
kafka的配置分为 broker、producter、consumer三个不同的配置一 broker 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。帮助123456789101112转载 2017-05-23 17:30:11 · 831 阅读 · 0 评论 -
kafka eagle安装与使用
1.概述在开发工作当中,在使用 Kafka 集群进行消息的生产和消费时,数据的变动以及topic的管理是我们所关心的内容,这就要求一套行之有效的监控管理体系。常见的kafka监控软件有4种如下所示Kafka Web Conslole :监控功能较为全面,可以预览消息,监控Offset、Lag等信息,但存在bug,不建议在生产环境中使用。Kafka Manager:偏向Kafka集群管理...转载 2018-10-16 12:42:43 · 1045 阅读 · 0 评论 -
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a distributed,partitioned,repli...转载 2018-10-16 11:54:29 · 151 阅读 · 1 评论 -
分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖?
我们知道,在早期的RocketMQ版本中,是有依赖ZK的。而现在的版本中,是去掉了对ZK的依赖,转而使用自己开发的NameSrv。并且这个NameSrv是无状态的,你可以随意的部署多台,其代码也非常简单,非常轻量。那不禁要问了:ZooKeeper是业界用来管理集群的一个非常常用的中间件,比如Kafka就是依赖的ZK。那为什么RocketMQ要自己造轮子,自己做集群的管理呢?纯粹就是再做一个Zook...转载 2018-05-15 15:57:06 · 2639 阅读 · 0 评论 -
kafka对比RocketMQ
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在淘宝交易、订单...转载 2018-05-15 15:46:30 · 297 阅读 · 0 评论 -
分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题
在说到消息中间件的时候,我们通常都会谈到一个特性:消息的顺序消费问题。这个问题看起来很简单:Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。但实际情况却是:无论RocketMQ,还是Kafka,缺省都不保证消息的严格有序消费!这个特性看起来很简单,但为什么缺省他们都不保证呢?“严格的顺序消费”有多么困难下面就从3个方面来转载 2017-06-28 18:08:46 · 1325 阅读 · 0 评论 -
总结kafka的consumer消费能力很低的情况下的处理方案
简介由于项目中需要使用kafka作为消息队列,并且项目是基于spring-boot来进行构建的,所以项目采用了spring-kafka作为原生kafka的一个扩展库进行使用。先说明一下版本:spring-boot 的版本是1.4.0.RELEASEkafka 的版本是0.9.0.x 版本spring-kafka 的版本是1.0.3.RELEASE用过kafka的人都知道,对转载 2017-05-24 15:20:39 · 8681 阅读 · 1 评论 -
kafka : Error UNKNOWN_MEMBER_ID occurred while committing offsets for group alert
2017-05-16最新:经过2天的折腾,总算是解决了这个问题。 1.最开始遇到这个问题,总结为网络原因,可能确实是网络原因,但是需要解决。因此希望调大session.timeout,但是服务端没有设置,导致客户端无法调超过30s,所以没法调高超时时间等。而且感觉这个治标不治本!2.尝试调低一次拉取的最大值,从而减少一次处理的条数。确实有收益,但是还需要继续!3.尝试发转载 2017-05-24 15:19:45 · 4858 阅读 · 0 评论 -
Kafka监控工具KafkaOffsetMonitor配置及使用
一、KafkaOffsetMonitor简述KafkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以一目了然。二、KafkaOffsetMonitor下载KafkaOffsetMonitor...转载 2018-10-16 14:51:13 · 596 阅读 · 0 评论