Kafka
文章平均质量分 79
围绕Kafka展开的学习及笔记专栏
大Null
Alias:一位木带感情的码农。
因CSDN过于商业化,博主已转战Github,所有资源均已迁移至Github个人网站,具体地址请查看详细资料。
展开
-
Python连接使用通过SSL认证的Kafka教程
Kafka开启SSL认证后,Python如何连接Kafka创建生产者、消费者教程,python通过SSL连接使用Kafka,python通过SSL创建Kafka客户端原创 2022-02-24 16:58:00 · 6701 阅读 · 0 评论 -
Kafka配额限速机制
目录背景限制producer端速率限制consumer端速率取消Kafka的Quota配置背景生产者和消费者以极高的速度生产/消费大量数据或产生请求,从而占用broker上的全部资源,造成网络 IO 饱和。有了配额(Quotas)就可以避免这些问题。Kafka 支持配额管理,从而可以对 Producer 和 Consumer 的 produce&fetch 操作进行流量限制,防止个别业务压爆服务器。限制producer端速率为所有 client id 设置默认值,以下为所有 producer原创 2021-09-18 16:43:07 · 1534 阅读 · 0 评论 -
Kafka数据清理
目录kafka数据清理日志删除(Log Deletion)1. 基于时间的保留策略2. 基于日志大小的保留策略3. 基于日志起始偏移量保留策略日志压缩(Log Compaction)kafka数据清理Kafka 的消息存储在磁盘中,为了控制磁盘占用空间,Kafka 需要不断地对过去的一些消息进行清理工作。Kafka 的每个分区都有很多的日志文件,这样也是为了方便进行日志的清理。在 Kafka 中,提供两种日志清理方式:日志删除(Log Deletion):按照指定的策略直接删除不符合条件的日志。日原创 2021-09-18 16:25:19 · 4508 阅读 · 0 评论 -
Kafka高级&低级API、同异步发送及拦截器原理
目录一、高级API1. 自动提交offset二、低级API1. 手动提交offset1.1. 同步提交offset1.2. 异步提交offset1.3. 数据漏消费和重复消费2. 自定义存储offset三、kafka 同步、异步发送1. 异步发送1.1. 不带回调函数1.2. 带回调函数2. 同步发送四、自定义Interceptor1. 拦截器原理2. 拦截器案例一、高级API优点:不需要执行去管理 offset,直接通过 ZK 管理;也不需要管理分区、副本,由 Kafka 统一管理消费者会自动根原创 2021-09-18 16:03:24 · 600 阅读 · 0 评论 -
Kafka生产、消费数据的工作流程
目录生产者写入数据流程消费者消费数据流程生产者写入数据流程生产者先从 zookeeper 的 "/brokers/topics/主题名/partitions/分区名/state"节点找到该 partition 的 leader生产者将消息发送给作为 leader 的 partitionleader 收到消息后,将消息写入到本地 log 中follower 从 leader 上拉取消息,写入到本地 log,并向 leader 发送 ACKleader 接收到所有的 ISR 中的 Replica原创 2021-09-18 10:35:44 · 1283 阅读 · 0 评论 -
Kafka分区分配策略
目录分区是什么生产者分区写入策略1. 轮询分区2. 随机策略3. 按key分配策略4. 自定义分区策略消费者组Rebalance机制分区是什么从整体上来说,一个 Kafka 集群有多个机器(一个机器就是一个 Broker),创建一个 Topic 是针对集群创建的,也就是说一个集群共享一个 Topic。一个Topic 可以有多个分区,如果机器数量够用的话,多个分区会在不同的 Broker 上,当然如果 Broker 不够用,那么一个 Broker 就可能保存一个 Topic 的多个分区。那么分区是什么呢原创 2021-09-18 09:53:48 · 2789 阅读 · 0 评论 -
Kafka的幂等性和事务
目录幂等性1. 简介2. 生产者幂等性事务1. 简介幂等性1. 简介Kafka在 0.11 版本引入了一项重大特性,幂等性。所谓的幂等性就是指 Producer 不论向 Server 发送多少次重复数据,Server 端都只会持久化一条。拿 http 举例来说,一次或多次请求,得到的响应是一致的(网络超时等问题除外),换句话说,就是执行多次操作与执行一次操作的影响是一样的。如果,某个系统是不具备幂等性的,如果用户重复提交了某个表格,就可能会造成不良影响。例如:用户在浏览器上点击了多次提交订单按钮原创 2021-09-17 16:09:07 · 1323 阅读 · 2 评论 -
Kafka如果保证数据的可靠性
目录数据的可靠性保证副本数据同步策略AR、ISR、OSRACK应答机制分区的leader和follower故障处理Controller介绍Controller的选举Controller选举partition leader数据的可靠性保证为保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果 producer 收到 ack原创 2021-09-17 15:48:42 · 569 阅读 · 0 评论 -
Kafka的文件存储机制
目录数据存储形式日志文件写入消息读取消息删除消息数据存储形式Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端,且每条数据都有自己的 offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offs原创 2021-09-16 15:10:37 · 621 阅读 · 1 评论 -
Kafka基础架构及命令行操作
目录Kafka基础架构Kafka的命令行操作Kafka基础架构Producer消息生产者,负责将数据推送给 broker 的 topicConsumer消息消费者,负责从 broker 的 topic 中拉取数据,并自己进行处理Consumer Groupconsumer group 是 kafka 提供的可扩展且具有容错性的消费者机制一个消费者组可以包含多个消费者一个消费者组有一个唯一的 ID(group Id)消费者组内每个消费者负责消费不同分区的数据,一个分区只原创 2021-09-08 16:54:16 · 218 阅读 · 0 评论 -
消息队列及Kafka简介
目录前言消息队列简介消息队列的应用场景生产者、消费者模型消息队列的两种模式1. 点对点模式2. 发布订阅模式使用消息队列的好处Kafka简介Kafka的应用场景Kafka的优势前言本文记录消息队列基本概念、使用场景,以及Kafka的简介,仅供学习参考。文章部分内容来自黑马课件。消息队列简介消息队列(Message Queue),也就是我们常说的 MQ。从字面上来理解,消息队列是一种用来存储消息的队列。消息队列中间件就是用来存储消息的软件(组件)。举个例子来理解,为了分析网站的用户行为,我们需原创 2021-09-08 12:45:12 · 747 阅读 · 0 评论 -
Error while executing topic command : Replication factor: 2 larger than available brokers: 1
创建topic时报错,是因为topic副本数不能超过服务器个数,我用的是单节点kafka,所以这里把命令改成–replication-factor 1即可原创 2021-06-03 14:05:18 · 1299 阅读 · 0 评论 -
Kafka集群部署教程
Kafka部署需要Java环境,可以使用CentOS自带的或者自己重新安装新版本首先准备好安装包,官网下载地址:http://kafka.apache.org/downloads我这里下载的2.8.0的版本,目前为止最新的版本,一共三台服务器,依次上传上去并解压tar -zxvf kafka_2.12-2.8.0.tgz解压之后,可以看到下面的内容然后先建立zookeeper集群,我这里使用的是kafka自带的,修改config目录下的zookeeper.properties文件#.原创 2021-06-03 11:34:01 · 1160 阅读 · 0 评论