Kafka
关于kafka的那些事儿
君莫笑(๑˙ー˙๑)
欢迎互关,一起学习,共同进步
展开
-
push 和 pull 的优缺点
push 和 pull 的优缺点push优点缺点适用场景优化pull优点缺点优化方案适用场景push优点生产者主动推送给消费者,及时性很高缺点当消费者消费能力远低于生产者生产能力,那么一旦生产者推送大量消息到消费者时,就会导致消费者消息堆积,处理缓慢,甚至服务崩溃。(那么如何解决这个问题呢?需要mq提供流控制,也就是依据消费者消费能力做流控。比如rabbitmq设置Qos,限制消费数量。)生产者需要维护和每个消费者之间的会话。适用场景对于数据实时性要求高的场景优化不采用原创 2020-07-09 16:44:50 · 5221 阅读 · 0 评论 -
Kafka 集群的安装、配置和常用指令
配置 zookeeperKafka 运行依赖 zookeeper:zookeeper 集群配置下载解压地址选择:kafka_2.11-2.3.0.tgz更改配置分别更改三台机器上的 config/server.properties其中,broker.id 需要更改,其它的直接粘贴上去就行。broker0:broker.id=0listeners=PLAINTEXT://192....原创 2019-11-11 10:16:54 · 384 阅读 · 2 评论 -
Kafka 基本概念、使用场景、硬件配置
目录基本概念消息和批次主题和分区生产者和消费者、偏移量、消费者群组Broker 和集群保留消息为什么选择Kafka优点常见场景硬件配置对Kafka 性能的影响磁盘吞吐量/磁盘容量内存网络如何估算Kafka 集群中Broker的数量Broker 如何加入Kafka 集群基本概念消息和批次消息,Kafka里的数据单元,也就...原创 2019-11-10 20:22:47 · 2186 阅读 · 0 评论 -
Kafka 中集群的成员关系
Kafka 高级原创 2019-11-21 11:43:58 · 439 阅读 · 0 评论 -
Kafka 里的重要功能——复制
Kafka 里的重要功能——复制复制replication-factor副本类型首领副本跟随副本优先副本工作机制处理请求的内部机制生产请求获取请求ISR使用ISR的原因ISR相关配置复制复制功能是 Kafka 架构的核心。在 Kafka 的文档里,Kafka 把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键,是因为它可以在个别节点失效时仍能保证Kafka的可用性...原创 2019-11-21 10:46:47 · 675 阅读 · 0 评论 -
Kafka 的物理存储机制
Kafka 的物理存储机制物理存储机制分区分配文件管理文件格式索引超时数据的清理机制物理存储机制Kafka的基本存储单元是分区。分区无法在多个broker间进行再细分,也无法在同一个broker的多个磁盘上进行再细分。在配置Kafka的时候,管理员指定了一个用于存储分区的目录清单——也就是log.dirs参数的值(不要把它与存放错误日志的目录混淆了,日志目录是配置在log4j.propert...原创 2019-11-21 11:40:29 · 449 阅读 · 0 评论 -
Kafka Java客户端里的生产者
Kafka Java 客户端里的生产者生产者发送消息的基本流程使用Kafka生产者三种发送方式发送并忘记同步发送异步发送多线程生产常用配置顺序保证自定义分区器如果不了解Kafka的Java 客户端,可以先看看示例 Kafka Java 客户端入门示例生产者发送消息的基本流程从创建一个 ProducerRecord 对象开始,ProducerRecord 对象需要包含目标主题和要发送的内容...原创 2019-11-12 21:44:25 · 223 阅读 · 0 评论 -
Kafka Java客户端里的消费者
Kafka Java客户端里的消费者生产消费流程基础概念消费者群组订阅拉取提交和偏移量核心概念多线程安全问题群组协调分区再均衡生产消费流程基础概念消费者群组多个消费者可以组成消费者群组,一个群组里的消费者订阅的都是同一个主题,每个消费者接收主题某个分区的消息。往消费者群组里增加消费者是进行横向伸缩能力的主要方式。但是,一个群组里消费者数量超过了主题的分区数量,多出来的消费者是没有用...原创 2019-11-15 09:59:35 · 322 阅读 · 0 评论 -
删除 Kafka 主题需要注意的事
server.properties 设置 delete.topic.enable=true确保该 topic 没有被用到。使用 kafka/bin 目录下的命令行工具预删除:./bin/kafka-topics --delete --zookeeper 【server:port】 --topic 【topic name】这一步执行完之后,节点被标记为删除,并没有物理删除。...原创 2019-11-16 21:19:00 · 266 阅读 · 0 评论