Kafka
Kafka
陈振阳
我翻开历史一查,这历史没有年代,歪歪斜斜的每页上都写着仁义道德四个字。我横竖睡不着,又仔细看了半夜,才从字缝缝里看出字来。满页都写着两个字是,吃人。
展开
-
流式计算的一些概念
流式处理的一些概念 一:时间域、窗口化流式处理的一些概念 二:水印、触发器、积累模式流式处理概念介绍 三:会话窗口Google-Streaming101Google-Streaming102...原创 2020-02-08 23:48:17 · 431 阅读 · 0 评论 -
Kafka Streams and Spring Cloud Stream
Kafka Streams and Spring Cloud Stream原创 2020-01-22 22:55:52 · 311 阅读 · 0 评论 -
消息中间件-Kafka
Kafka设计和原理详解 小白也能看懂的简单明了kafka原理解析原创 2017-11-19 21:47:51 · 948 阅读 · 0 评论 -
Distributed transactions in Spring without XA # Shared Transaction Resource pattern
文章目录概述ORM框架和Spring JDBC消息驱动的单个数据库更新基于ActiveMQ实现消息驱动的单个数据库更新场景基于Kafka实现消息驱动的单个数据库更新场景概述Distributed transactions in Spring, with and without XA一文中描述了在Spring中实现分布式事务的7种处理模式;3种基于XA协议,4种特定场景的非XA协议的模式;共享...原创 2019-03-13 17:00:53 · 255 阅读 · 0 评论 -
Kafka Message Delivery Semantics
At most once——消息可能会丢失但绝不重传At least once——消息可以重传但绝不丢失Exactly once—— 每一条消息只被传递一次记录的是某个topic,某个分区的偏移量,topic name,partition number;id,topicname,partition number,offset,这个地方的设计找到那篇博客,看看kafka+db同步事务的这种完...原创 2019-03-13 14:55:38 · 1008 阅读 · 0 评论 -
Confluent Platform Quick Start (Docker)
问题Confluent提供了Kafka的整套生态的docker镜像:confluentinc/cp-docker-images,并在官方文档 Confluent Platform Quick Start (Docker) 中详细的描述了这些镜像的使用方法。git clone https://github.com/confluentinc/cp-docker-imagescd cp-docke...原创 2019-03-13 11:10:35 · 2002 阅读 · 0 评论 -
Spring Kafka Transaction
1. plain kafka client api transaction个三种情况(1. comsumer ack ,2 comsumer + producer commit,3 comsumer +producer@send 一块commit)2. KafkaTransactionManager详解,模板化了上述的哪些操作3. KafkaMessageListenerContainer和L...原创 2019-03-07 20:22:49 · 4289 阅读 · 0 评论 -
Spring Kafka @KafkaListener和它的朋友们
Spring-Kafka(六)—— @KafkaListener的花式操作Spring Boot 中使用@KafkaListener并发批量接收消息原创 2019-03-07 20:03:34 · 5879 阅读 · 2 评论 -
Spring Integration Kafka
从org.springframework.integration.kafka.dsl.Kafka可以看到,Spring Integration Kafka模块提供了以下五个Spring Integration Component:OutboundChannelAdapter由KafkaProducerMessageHandler实现,构造函数传入KafkaTemplate;InboundCha...原创 2019-03-10 23:07:32 · 1368 阅读 · 0 评论 -
Exactly-once semantics in Kafka
Official DocsIdempotent ProducerTransactional Messaging in KafkaKIP-98 - Exactly Once Delivery and Transactional MessagingKIP-129: Streams Exactly-Once SemanticsKIP-192 : Provide cleaner semantic...原创 2019-02-27 14:29:47 · 686 阅读 · 0 评论 -
Kafka简明教程(三)Kafka‘s Ecosystem
Linkedin Burrow:Burrow是linkedin开源的一个监控Apache Kafka的工具,burrow可以将消费者滞后检查作为一项服务来对外提供。 它监视所有消费者的承诺偏移量,并根据需要计算消费者的状态,提供HTTP endpoint接口来获取消费者状态,能够监控Consumer消费消息的延迟,从而监控应用的健康状况,并且可以同时监控多个Kafka集群。 通知器可以通过配置电子...原创 2018-03-31 14:30:01 · 715 阅读 · 0 评论 -
Kafka简明教程(二)Kafka On Kubernetes
参考Yolean/kubernetes-kafka kubernetes/charts/Kafka原创 2018-03-31 14:16:13 · 4871 阅读 · 0 评论 -
Kafka简明教程(一)基于Docker快速搭建测试环境
QuickStart安装Docker和Compose将docker-compose.yml中的KAFKA_ADVERTISED_HOST_NAME环境变量配置为Docker宿主机的IP地址启动集群$ docker-compose up扩展多个Broker$ docker-compose scale kafka=2启动zookeeper容器sudo d...原创 2018-03-30 12:55:16 · 1594 阅读 · 1 评论 -
Kafka‘s Metadata In ZooKeeper Directories
参考apache kafka系列之在zookeeper中存储结构 kafka在zookeeper中的存储结构 Kafka Documentation#ZooKeeper Directories原创 2017-12-31 12:02:59 · 675 阅读 · 0 评论 -
Spring Cloud Stream Binder Kafka Monitor
KafkaBinderHealthIndicator KafkaBinderMetrics原创 2017-12-21 15:38:46 · 482 阅读 · 0 评论