![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
浪子骑驴
精通J2EE方面的设计
展开
-
Kafka背景及架构介绍
Kafka剖析(一):Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景...原创 2016-05-12 15:22:12 · 132 阅读 · 0 评论 -
Kafka 之 入门
http://my.oschina.net/frankwu/blog/303745http://www.cnblogs.com/gnivor/p/5318319.html原创 2016-07-27 18:08:32 · 119 阅读 · 0 评论 -
Kafka剖析(一):Kafka背景及架构介绍
Kafka剖析(一):Kafka背景及架构介绍:http://www.infoq.com/cn/articles/kafka-analysis-part-1Kafka设计解析(四):Kafka Consumer解析:http://www.infoq.com/cn/articles/kafka-analysis-part-4/...原创 2016-07-26 17:29:19 · 370 阅读 · 0 评论 -
AMQP协议(经典)
当前各种应用大量使用异步消息模型,并随之产生众多消息中间件产品及协议,标准的不一致使应用与中间件之间的耦合限制产品的选择,并增加维护成本。AMQP是一个提供统一消息服务的应用层标准协议,基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同开发语言等条件的限制。 当然这种降低耦合的机制是基于与上层产品,语言无关的协议。AMQP协议是一种二进制协议,提供客户端应用与...原创 2016-07-26 08:23:03 · 108 阅读 · 0 评论 -
分布式消息系统 Kafka 简介
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用(消...原创 2016-07-25 16:52:36 · 125 阅读 · 0 评论 -
RabbitMQ消息队列:ACK机制
每个Consumer可能需要一段时间才能处理完收到的数据。如果在这个过程中,Consumer出错了,异常退出了,而数据还没有处理完成,那么 非常不幸,这段数据就丢失了。因为我们采用no-ack的方式进行确认,也就是说,每次Consumer接到数据后,而不管是否处理完 成,RabbitMQ Server会立即把这个Message标记为完成,然后从queue中删除了。 如果一个Cons...原创 2016-07-25 15:06:00 · 286 阅读 · 0 评论 -
RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总
参考:http://blog.csdn.net/linsongbin1/article/details/47781187 http://www.mrhaoting.com/?p=139 http://www.liaoqiqi.com/post/227原创 2016-07-25 14:42:08 · 89 阅读 · 0 评论 -
RabbitMq与KafKa比较
如何保证kafka的高容错性?[size=large][color=blue][b]1. producer不使用批量接口,并采用同步模型持久化消息。[/b][/color][/size][size=large][color=blue][b]2.consumer不采用批量化,每消费一次就更新offset[/b][/color][/size]业界对于消息的传递有多种方案和产品,...原创 2016-07-25 14:35:23 · 120 阅读 · 0 评论 -
最全最给力的kafka博客
参考:http://blog.csdn.net/lizhitao/article/category/2194509/2kafka官网:http://kafka.apache.org/documentation.html原创 2016-07-25 14:35:17 · 195 阅读 · 0 评论 -
三种 Kafka 监控工具
一、概述 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管...原创 2016-10-27 10:49:35 · 230 阅读 · 0 评论