肥叔菌的博客

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，kafka3.x开始提供。

Kafka core第一部分：基础升级弃用对Java 8和Scala 2.12的支持第二部分：kafka Raft 快照Kafka 2.8.0正式发布了KRaft的先行版，并且支持在KRaft模式下的部署和运行。KRaft模式下的Katka可以充全脱商zookeeper运行，使用自己的基于Raft第法实现的quorum来保证分布式Metadata的一致。这样我们只需要管理和配置一项服务即可，让kafka集群更加具有可扩展性，并且让其能够支持更多的topic和partition。在kafka

这里写自定义目录标题简介概述消息系统介绍点对点消息传递模式发布-订阅消息传递模式Kafka的优点解耦冗余（副本）扩展性灵活性&峰值处理能力可恢复性顺序保证缓冲异步通信常用Message Queue对比RabbitMQRedisZeroMQActiveMQKafka/JafkaKafka中的术语解释概述brokerTopicPartitionProducerConsumerConsumer GroupLeaderFollower简介概述Kafka是最初由Linkedin公司开发，是一个分布式、分

Kafka安装包目录结构如下：bin、config、libs、LICENSE、logs、NOTICE，bin目录存放

Kafka集群由若干个Broker组成，Topic由若干个Partition组成，每个Partition里面的消息通过Offset来获取。

博客一一、概述在k8s里面部署kafka、zookeeper这种有状态的服务，不能使用deployment和RC，k8s提供了一种专门用来部署这种有状态的服务的API–statefulset，有状态简单来说就是需要持久化数据，比如日志、数据库数据、服务状态等。statefulset应用场景：稳定的持久化存储，即Pod重新调度后还是能访问到相同的持久化数据，基于PVC来实现稳定的网络标志，即Pod重新调度后其PodName和HostName不变，基于Headless Service（即没有Clus

背景Kafka是分布式消息订阅系统，有非常好的横向扩展性，可实时存储海量数据，是流数据处理中间件的事实标准。当通过Kafka和greenplum搭建流处理管道时，如何高速可靠的完成流数据加载，成为用户最关心的问题。从5.10开始，Greenplum发布了新的工具GPKafka，为Greenplum提供了流数据加载的能力。GPkafka工具：kafka —> Greenplum一、安装准备kafka安装：版本为 kafka_2.11-2.1.0。 greenplum安装：版本为 5.16二、K