Kafka
记录整理 Kafka 学习中的知识与问题
薇安娜
这个作者很懒,什么都没留下…
展开
-
Kafka 数据一致与可靠性保证 (下篇)
前言 在上篇中着重讲了 ACK,ISR,Exactly Once 和 事务性等机制来保证 producer 端发送至 broker 的数据不丢失不重复,而本篇会介绍 broker 端和 consumer 端保证数据一致性与可靠性的一些机制,文中如有纰漏请不吝指正,共同进步!HW & LEO HW(High Watermark) 和 LEO(Log End Offset) 是 Kafka 中保证分区数据对消费者而言始终一直的特性,我们先不管这俩个名词,先来看看去除这俩个机制的情况下 c原创 2020-10-28 16:16:34 · 181 阅读 · 0 评论 -
Kafka 数据一致与可靠性保证 (上篇)
文章目录前言ACK 与 ISRACK 应答机制ISRExactly-once三种语义kafka 实现 exactly-once事务性结语参考前言 作为消息队列能够保证消息的不重复,不丢失,有序性是非常重要的,而 Kafka 就通过一系列机制很好的保证了数据的一致与可靠性,接下来会用两篇博客来整理一下相关内容,本篇主要内容为: ACK应答机制、ISR 以及 producer 端的Exactly-once 语义ACK 与 ISRACK 应答机制 在 TCP/IP 协议中,如果接收方成功的接收到数据原创 2020-10-19 17:06:03 · 529 阅读 · 0 评论 -
Kafka 学习笔记之 数据存储与高效读写
前言 上一篇笔记中概述了一下什么是消息队列以及 kafka 的组织架构,这篇笔记就来整理一下 kafka 是如何存储数据,以及其怎么保证了大数据场景下的高效读写,文中如有错误与纰漏欢迎指正,共同进步!kafka 数据存储结构topic 与 partition 在 kafka 的架构中有讲到作为基于订阅/发布模式的消息队列 kafka 的所有操作都是面向 topic 的,而为了水平扩展的弹性和增大吞吐量在 kafka 中又可以将一个 topic 分成多个 partition 分布在不同的机原创 2020-10-14 17:11:50 · 428 阅读 · 0 评论 -
Kafka 学习笔记之 Kafka 概述
写在前面kafka 作为一种基于发布/订阅模式的消息队列在大数据领域尤其是实时领域被广泛使用,其分布式的特点能让其达到每秒百万级的大吞吐量,本篇笔记作为 kafka 系列的开篇准备从消息队列入手然后介绍 kafka 的整体组织架构,文中如有错误欢迎指正,共同进步!消息队列何为消息队列 消息队列这个词在各种场景下都会听到,知道其可以将生产者与消费者之间解耦从而实现异步处理,但是这样的表述也许不是很好理解,在这里举个现在生活中的大家都会遇到的例子来帮助理解消息队列的作用。 一天小明在上班时原创 2020-10-12 16:47:47 · 124 阅读 · 0 评论 -
Kafka 学习笔记(一)—— Kafka 安装
前言 本系列为我学习 kafka 过程中的一些整理与记录,本篇主要记录 kafka 集群的安装。环境及机器:节点:三台虚拟机配置:内存 16G、硬盘 100G系统:Centos 7.7一、 Zookeeper 安装 Kafka 集群的运行依赖于 Zookeeper 因此在安装 Kafka 之前需要先按照 Zookeeper1.1 JDK 安装 JDK 的安装可以直接参照 Hadoop 完全分布式安装 此篇博客中有详细的步骤。1.2 Zookeeper 安装Zook原创 2020-08-30 18:59:42 · 166 阅读 · 0 评论 -
JAVA 客户端连接远程 Kafka 集群
JAVA 客户端连接远程 Kafka 集群前言 近期在学习 Kafka 在使用 JAVA 的 kafka-clients 库的Producer API 向腾讯云上的 Kafka 集群推送消息,发现消息无法发送,在此记录一下我解决的方法。问题 以下为我的测试代码,其中 175.24.230.*** 为 Kafka 集群上某台 broker 的 IP 地址,但在运行后在远端服务器开起 console-consumer 无法消费到同一主题中的消息。public class MyProducer {原创 2020-08-05 18:09:29 · 2115 阅读 · 0 评论