咖啡的博客

Kafka源码深度解析－系列1 －消息队列的策略与语义-Kafka关键概念介绍 -消息队列的各种策略与语义作为一个消息队列，Kafka在业界已经相当有名。相对传统的RabbitMq/ActiveMq，Kafka天生就是分布式的，支持数据的分片、复制以及集群的方便扩展。与此同时，Kafka是高可靠的、持久化的消息队列，并且这种可靠性没有以牺牲性能为前提。同时，在允许丢消息的业务场景...

 （1）两种常用的消息模型队列模型（queuing）和发布-订阅模型（publish-subscribe）。队列的处理方式是一组消费者从服务器读取消息，一条消息只由其中的一个消费者来处理。发布-订阅模型中，消息被广播给所有的消费者，接收到消息的消费者都可以处理此消息。（2）Kafka的消费者和消费者组Kafka为这两种模型提供了单一的消费者抽象模型： 消费者组 （consu...

1、kafka定时任务：package com.chargedot.platformservice;import com.chargedot.platformservice.message.KafkaProducer;import com.chargedot.platformservice.util.JsonUtil;import org.springframework.beans....

《KAFKA官方文档》入门指南1.入门指南1.1简介Apache的Kafka™是一个分布式流平台(a distributed streaming platform)。这到底意味着什么？我们认为，一个流处理平台应该具有三个关键能力：它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。 它可以让你持久化收到的记录流，从而具有容错能力。 它可以让你处理收到的...

java客户端连接kafka简单测试本案例kafka版本是kafka_2.11-0.9.0.1，用java来实现kafka生产者、消费者的示例 在测试的过程中遇到的特别的问题以及解决办法，其他小问题就不一一列举了。1 . 使用kafka-clients进行测试，maven依赖<dependency>     <groupId>org.apache.kafka...

消费者：（1）配置：@Configuration@EnableKafkapublic class KafkaConsumerConfig { @Value("${spring.kafka.bootstrap-servers}") private String brokers; @Value("${spring.kafka.consumer.group-id}...

生产者：@Slf4j@Componentpublic class KafkaProducerTest { //配置类 public Map<String, Object> init() { Map<String, Object> properties = new HashMap<String, Object>(); ...

 文章目录1. 前言 2. Producer 使用 3. Producer 数据发送流程 3.1. Producer 的 send 实现 3.2. Producer 的 doSend 实现 4. 发送过程详解 4.1. 获取 topic 的 metadata 信息 4.2. key 和 value 的序列化 4.3. 获取 partition 值 4.4. 向...

 1 kafka集群搭建 Java代码   1.zookeeper集群  搭建在110， 111,112    2.kafka使用3个节点110， 111,112  修改配置文件config/server.properties  broker.id=110  host.name=192.168.1.110  log.dirs=/usr/local/kafka_2.1...

一、安装Kafka官方快速安装文档：http://kafka.apache.org/quickstart安装kafka下载最新版本kafka[root@Basic apps]# wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz[root@Basic apps]# tar -zxvf kaf...

下载、安装官网下载然后解压> tar -xzf kafka_2.11-0.10.2.0.tgz> cd kafka_2.11-0.10.2.0linux用户使用bin/目录下的命令，Windows用户可以使用bin/windows/下的命令使用启动服务kafka依赖于ZooKeeper，如果没有安装zookeeper，可以用kafka包里面现成的：...

zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 一、单机安装1.1 下载进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeeper/ 1.2 安装使用tar解压要安装的目录即可，以3.4.5版本为例...