![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 56
shangboerds
淡薄以明志,宁静而致远
展开
-
Kafka 下载和安装
-- Start点击此处观看本系列配套视频登录 Kafka 官方网站(http://kafka.apache.org/)下载 Kafka 最新版本,本系列文章将采用1.1.0 版作为说明。安装 Kafka 非常简单,将它解压缩到某个目录就可以了,本人将使用目录D:\0_Shangbo\App\kafka\kafka_2.12-1.1.0--更多参见:Kafka 精萃-...原创 2014-09-03 21:39:33 · 6982 阅读 · 0 评论 -
Kafka 接收消息 at least once
– Start 首先启动 ZooKeeper 和 Kafka borker。 下面的例子演示了如何接收数据以及手动提交 offset。package shangbo.kafka.example5;import java.util.Arrays;import java.util.Properties;import org.apache.kafka.clients.consum...原创 2018-06-13 21:12:04 · 5584 阅读 · 0 评论 -
Kafka 接收消息 exactly once
– Start 下面的方法演示将 offset 存储在数据库中,和消息处理放在同一事务中,真正实现 exactly once.创建表CREATE TABLE KAFKA_OFFSET( TOPIC VARCHAR2(100), PARTITION NUMBER(3, 0), OFFSET NUMBER(18, 0) );IN...原创 2018-06-13 22:55:03 · 1926 阅读 · 0 评论 -
Kafka 发送消息 -- Spring 整合
– Start 废话少说,直接上代码。package shangbo.kafka.example7;import org.apache.kafka.clients.producer.RecordMetadata;import org.springframework.context.ApplicationContext;import org.springframework.cont...原创 2018-06-14 19:49:17 · 3339 阅读 · 0 评论 -
Kafka 发送消息 Idempotent -- Spring 整合
– Start 废话少说,直接上代码。package shangbo.kafka.example8;import org.springframework.context.ApplicationContext;import org.springframework.context.annotation.AnnotationConfigApplicationContext;impor...原创 2018-06-14 19:54:40 · 594 阅读 · 0 评论 -
Kafka 发送消息 -- 事务 -- Spring 整合
– Start 废话少说,直接上代码。package shangbo.kafka.example9;import org.springframework.context.ApplicationContext;import org.springframework.context.annotation.AnnotationConfigApplicationContext;publ...原创 2018-06-14 20:03:25 · 2909 阅读 · 0 评论 -
Kafka 接收消息 at most once -- Spring 整合
– Start 废话少说,直接上代码。package shangbo.kafka.example10;import org.springframework.context.ApplicationContext;import org.springframework.context.annotation.AnnotationConfigApplicationContext;pub...原创 2018-06-14 20:38:39 · 1607 阅读 · 2 评论 -
Kafka 接收消息 at least once -- Spring 整合
– Start 废话少说,直接上代码。package shangbo.kafka.example11;import org.springframework.context.ApplicationContext;import org.springframework.context.annotation.AnnotationConfigApplicationContext;pub...原创 2018-06-14 20:47:30 · 1501 阅读 · 0 评论 -
Kafka 接收消息 exactly once -- Spring 整合
– Start 废话少说,直接上代码。package shangbo.kafka.example12;import org.springframework.context.ApplicationContext;import org.springframework.context.annotation.AnnotationConfigApplicationContext;pub...原创 2018-06-14 21:26:18 · 1294 阅读 · 0 评论 -
Kafka 搭建测试环境
– Start 首先创建一个 Maven 工程,然后把下面的依赖添加到你的 POM 中。 <dependency> <groupId>org.apache.kafka</groupId> <artifactId&g原创 2018-06-14 21:29:00 · 683 阅读 · 0 评论 -
Kafka 接收消息 at most once
– Start 首先启动 ZooKeeper 和 Kafka borker。 下面的例子演示了如何接收数据。package shangbo.kafka.example4;import java.util.Arrays;import java.util.Properties;import org.apache.kafka.clients.consumer.ConsumerRec...原创 2018-06-13 20:58:31 · 2649 阅读 · 0 评论 -
Kafka 发送消息 -- 事务
– Start 上节课我们讲了使用 Idempotent 确保消息只发送一次,本节课我们演示如何使用事务。package shangbo.kafka.example3;import java.util.Properties;import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clie...原创 2018-06-13 07:44:17 · 2888 阅读 · 0 评论 -
Kafka 发送消息 Idempotent
– Start 我们先来回答一下上个例子最后问题的答案,很遗憾 Producer 并不能证明消息发送成功了,如果设置了 retry,Producer 会再次发送消息,这会导致消息重复,如何避免?有两种办法,一种是 Idempotent,也就是说支持重复发送,broker 会自动认为是一条消息,另一种办法是使用事务。 下面的例子演示使用 Idempotent。package shangb...原创 2018-06-13 07:33:51 · 1705 阅读 · 0 评论 -
Kafka 简介
-- Start点击此处观看本系列配套视频Kafka 是一个分布式消息系统。什么是分布式呢?通俗的说就是多台服务器提供同样的服务,这样如果一台服务器挂了,其他服务器仍然能提供服务。大量的客户端请求可以被分散到不同的服务器上,这样可以分担压力提高响应速度。但是如何做到服务器之间数据同步,负载均衡,这些都是难点。幸亏你能想到的这些难点都有人帮我们实现了,我们要做的就是利用这些现成的框架。-...原创 2014-09-03 21:30:16 · 1153 阅读 · 0 评论 -
Kafka 体系结构
-- Start点击此处观看本系列配套视频总的来说就是消息的生产者(producer)发送消息到某个主题(topic),消息的消费者(consumer)从这个主题中接收数据。其中 kafka 集群(cluster)可以由多个服务器组成,每个服务器称之为代理(broker).--更多参见:Kafka 精萃--声 明:转载请注明出处-- Last Edited on 2014-...原创 2014-09-03 21:42:11 · 1644 阅读 · 0 评论 -
Kafka 只有一个broker的例子
-- Start点击此处观看本系列配套视频首先我们从一个最简单的例子开始,那就是kafka 集群只有一个broker。1. 启动ZooKeeperKafka 使用了 ZooKeeper,所以我们需要先启动 ZooKeeper。假设你的 Kafka 解压缩到目录 D:\0_Shangbo\App\kafka\kafka_2.12-1.1.0。首先,我们需要修改一下 config 目...原创 2014-09-03 21:46:10 · 4318 阅读 · 2 评论 -
Kafka 有多个broker的例子
-- Start点击此处观看本系列配套视频1. 启动 ZooKeeper首先还是启动ZooKeeper。set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0cd %KAFKA_HOME%/bin/windowszookeeper-server-start.bat %KAFKA_HOME%/config/zooke...原创 2014-08-30 15:46:31 · 11612 阅读 · 2 评论 -
Kafka 精萃
-- Start点击此处观看本系列配套视频。Kafka 简介Kafka 下载和安装Kafka 搭建测试环境Kafka 体系结构Kafka只有一个broker的例子Kafka 有多个broker的例子Kafka 发送消息Kafka 发送消息-- 整合 SpringKafka 发送消息 IdempotentKafka 发送消息 Idempotent --...原创 2014-09-03 21:23:01 · 3707 阅读 · 1 评论 -
Kafka 发送消息
– Start 下面的例子演示了如何发送消息。package shangbo.kafka.example1;import java.util.Properties;import java.util.concurrent.Future;import org.apache.kafka.clients.producer.Callback;import org.apache.kafk...原创 2018-06-13 07:15:14 · 2437 阅读 · 0 评论 -
Kafka 消息转换
– Start 之前的例子都是发送和接收 String 消息,现在我们来看一个发送对象的例子。package shangbo.kafka.example13;import org.springframework.context.ApplicationContext;import org.springframework.context.annotation.AnnotationCon...原创 2018-06-15 22:06:58 · 2084 阅读 · 0 评论