Kafka 设计与原理详解

一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 如何收集这些巨大的信息 如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消费者消...

2015-08-28 16:36:32

阅读数 105941

评论数 22

Kafka详解五、Kafka Consumer的底层API- SimpleConsumer

Kafka提供了两套API给Consumer The high-level Consumer APIThe SimpleConsumer API      第一种高度抽象的Consumer API,它使用起来简单、方便,但是对于某些特殊的需求我们可能要用到第二种更底层的API,那么先介绍下第二...

2014-08-18 11:26:02

阅读数 16176

评论数 2

kafka详解一、Kafka简介

背景:      当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 如何收集这些巨大的信息如何分析它       如何及时做到如上两点      以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息...

2014-08-18 10:45:54

阅读数 9693

评论数 0

Kafka详解二、如何配置Kafka集群

Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置 单节点:一个broker的集群单节点:多个broker的集群多节点:多broker集群 一、单节点单broker实例的配置 1.首先启动zookeeper服务      Kafka提供了一个简单的zookeepe...

2014-07-31 17:39:44

阅读数 31392

评论数 0

kafka详解四:Kafka的设计思想、理念

本节主要从整体角度介绍Kafka的设计思想,其中的每个理念都可以深入研究,以后我可能会发专题文章做深入介绍,在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容: Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像...

2014-07-09 20:09:37

阅读数 7563

评论数 0

kafka详解三:开发Kafka应用

一、整体看一下Kafka 我们知道,Kafka系统有三大组件:Producer、Consumer、broker 。 producers 生产消息并推(push)送给brokers,consumers从brokers把消息提取(pull)出来。 二、开发一个Producer应用   ...

2014-07-09 17:30:05

阅读数 14542

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭