MineCodelife的博客

副本数据同步原理初始状态leader和follower的HW和LEO都是0，leader副本会保存remote LEO，表示所有follower LEO，也会被初始化为0。这个时候，producer没有发送消息。follower会不断地个leader发送FETCH 请求，但是因为没有数据，这个请求会被leader寄存，当在指定的时间之后会强制完成请求，这个时间 配置是(replica.fetch.wait.max.ms)，如果在指定时间内producer有消息发送过来，那么kafka会唤醒 fetc

消息中间件的场景如果是在分布式系统中，两个服务之间需要通过这种异步队列（生产消费者模式）的方式来处理任务，那单进程级别的队列就无法解决这个问题了。 因此，引入了消息中间件，也就是把消息处理交给第三方的服务，这个服务能够实现数据的存储以及传输，使得在分布式架构下实现跨进程的远程消息通信。 所以，简单来说： 消息中间件是指利用高效可靠的消息传输机制进行平台无关的数据交流，并且基于数 据通信来进行分布式系统的集成。可以先从基本的消息中间件需求开始思考最基本的是要能支持消息的发送和接收 需要涉及到网络

logstash安装：## 解压安装tar -zxvf logstash-6.6.0.tar.gz -C /usr/local/## conf下配置文件说明：# logstash配置文件：/config/logstash.yml# JVM参数文件：/config/jvm.options# 日志格式配置文件：log4j2.properties# 制作Linux服务参数：/config/startup.options## 配置文件说明：vim /usr/local/logstash...

kafka集群部署kafka天然支持集群 kafka集群天然依赖于zookeeper kafka主要通过brokerId区分不同节点kafka集群之lead选举kafka并没有采用多少投票来选举leader kafka会动态维护一组leader数据的副本ISR kafka会在isr中选择一个速度快的设为leaderkafka集群监控雅虎的CMAK工具。spring cloudconfig示例：port 7002 的configClient@r...

kafka stream基础概念stream是处理分析存储在kafka数据的客户端程序库 stream通过state store可以实现高效状态操作 支持原语processor和高层抽象DSLimport org.apache.kafka.common.serialization.Serdes;import org.apache.kafka.streams.KafkaStreams;import org.apache.kafka.streams.StreamsBuilder;.

Consumer注意事项：单个分区的消息只能由ConsumerGrop中某个Consumer消费，换言之，一个消费者可以消费多个分区，也可以消费一个分区，但是不能多个消费者消费同一个分区 Consumer从partition中消费消息是顺序消费，默认是从头开始 单个ComsumerGrop会消费所有partition中的消息import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.cli.

producerAPIimport org.apache.kafka.clients.producer.*;import java.util.Properties;import java.util.concurrent.ExecutionException;import java.util.concurrent.Future;public class ProducerSample { private final static String TOPIC_NAME="jiangz

kafka基本概念producer：消息和数据的生产者，向kafka的一个topic发布消息的进程、代码，服务consumer:消息和数据的消费者，订阅数据（topic）并且处理其发布进程、代码，服务consumerGroup:逻辑概念，对于一个topic，会广播给不同的griop,一个group中，只有一个consumer可以消费该消息Brocker:物理概念，kafka急...