Heaven Wang 的专栏

Kafka提供了两套API给ConsumerThe high-level Consumer APIThe SimpleConsumer API     第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情一个消息读取多次在一个处理过程中只消费Partiti

一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一

本节主要从整体角度介绍Kafka的设计思想，其中的每个理念都可以深入研究，以后我可能会发专题文章做深入介绍，在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容：Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制一、kafka由来     由于对JMS日常管理的过度开支和

一、整体看一下Kafka我们知道，Kafka系统有三大组件：Producer、Consumer、broker 。producers 生产消息并推(push)送给brokers，consumers从brokers把消息提取(pull)出来。二、开发一个Producer应用         Producers用来生产消息并把产生的消息推送到Kafka

Kafka集群配置比较简单，为了更好的让大家理解，在这里要分别介绍下面三种配置单节点：一个broker的集群单节点：多个broker的集群多节点：多broker集群一、单节点单broker实例的配置1.首先启动zookeeper服务     Kafka提供了一个简单的zookeeper配置文件来帮助启动zookeeper实例，用下面这个命令即可，首先进入Kafka的安装

背景：     当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它       如何及时做到如上两点     以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两