Kafka
文章平均质量分 71
主要是记录自己学习使用kafka的一些坑和痛点,也是对自己日常工作知识体系的一个梳理,希望自己能更深入思考项目中的一些内容,也带给大家一些启迪。
机智兵
努力到无能为力,拼搏到感动自己!
展开
-
大数据-kafka学习(八)—— 生产调优、硬件配置选择
一、场景说明100万日活,每人每天100条日志,每天总共的日志条数上100万*100条=1亿条1亿/24小时/60分/60秒=1150条/每分钟每条日志大小:0.5K-2K(取1K)1150条/每分钟*1K≈ 1m/s高峰期每分钟:1150条*20倍 = 23000条。每秒多少数据量:20MB/s。二、服务器台数选择服务器台数 = 2*(生产者峰值生产速率*副本/100)+1= 2*(20m/s * 2/100)+1= 3 (台)三、磁盘选择...原创 2022-04-16 14:24:45 · 2169 阅读 · 18 评论 -
大数据-kafka学习(七)——集成SpringBoot
SpringBoot是一个在JavaEE开发中非常常用的组件。可以用于Kafka的生产者,也可以用于SpringBoot的消费者。一、SpringBoot项目搭建如果Spring Initializr产生如下错误解决方法Custom的URL改为https://start.aliyun.com/SpringBoot项目创建成功二、 生产者代码package com.myself.springboot.springbootkafka.controller;..原创 2022-04-15 22:35:38 · 2891 阅读 · 16 评论 -
大数据-kafka学习(六)——简单代码实现生产者消费者
maven依赖导入 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>2.2.0</version> </dependency> </dependencies>原创 2022-04-14 23:20:58 · 2554 阅读 · 17 评论 -
大数据-kafka学习(五)——消费者
一、KAfka消费方式1、pull(拉)模式:consumer 采用从broker中主动拉取数据,Kafka 采取这种方式2、push(推)模式:Kafka 没有采用这种方式,是因为由broker决定消费发生速率,很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consumer2就来不及处理消息。Pull模式不足之处是,如果kafka没有数据,消费者可能陷入循环中,一直返回空数据。二、消费者总体工作流程三、消费者组Consumer G.原创 2022-04-14 22:43:07 · 2589 阅读 · 3 评论 -
大数据-kafka学习(四)——文件存储
Kafka文件存储机制原创 2022-04-12 23:18:29 · 2055 阅读 · 9 评论 -
大数据-kafka学习(三)——Kafka Broker
Kafka Broker工作流程Leader 和 Follower 故障处理细节原创 2022-04-10 21:18:04 · 760 阅读 · 8 评论 -
大数据-kafka学习(二)——生产者
生成经验-数据乱序1、kafka在1.x版本之前保证数据分区有序,条件如下:max.in.flight.requests.per.connection=1(不需要考虑是否开启幂等性)。2、kafka在1.x及以后版本保证数据分区有序,条件如下:(1)未开启幂等性max.in.flight.requests.per.connection需要设置为1(2)开启幂等性max.in.flight.reques...原创 2022-04-10 11:52:41 · 384 阅读 · 2 评论 -
剑指offer-Kafka(一)
1、有用过kafka吗?Kafka 的是怎么运转的?Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成为 consumer. Kafka 以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个 broker. producers 通过网络将消息发送到 Kafka 集群,集群向消费者提供消息 2、kafka事务?数据传输的事务定义通常有以下三种级别:原创 2022-04-07 22:44:21 · 199 阅读 · 0 评论 -
大数据-kafka学习(一)——Kafka简介
kafka原创 2022-03-27 10:38:55 · 2622 阅读 · 1 评论