面试题——kafka

最新推荐文章于 2024-05-15 16:01:41 发布
最新推荐文章于 2024-05-15 16:01:41 发布
阅读量117 收藏
点赞数
分类专栏： # 大数据面试题 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37090394/article/details/111660872
版权

Kafka常问

数据积压 背压机制–（增大topic分区数、增加消费者数量、增大pull数据量）

重复消费 （幂等性+ack=-1）

数据丢失 （确认数据被完成处理之后，再更新offset值。低级API中需要手动控制offset值。）
如果一批数据没有消费完，但是offset已经提交，这个时候造成数据丢失怎么办

这个妹妹我见过
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
2021Java字节跳动面试题——面向字节_Kafka.pdf
01-29
### 2021年Java字节跳动面试题之Kafka详解 #### Kafka的设计理念与架构 **设计理念概述：** Kafka的核心设计理念是将消息按照主题(topic)进行分类存储和管理，支持生产者(producers)发布消息以及消费者(consumers)...
Java全能学习面试手册——Java面试题库.zip
10-01
09 17道消息队列Kafka面试题！.pdf 10 18道非常牛逼的Nginx面试题！.pdf 11 20道顶尖的Spring Boot面试题！.pdf 12 20道面试官常问的JVM面试题！.pdf 13 22道面试常问的SpringMVC面试题！.pdf 14 24道经典的英语面试...
大数据面试题 —— Kafka
hu_wei123的博客
03-19 1515
Kafka是由 Apache 开发的一个分布式的基于发布订阅模式的消息队列，主要应用于大数据的实时处理领域。
JAVA面试题——Kafka
qq_40525480的博客
12-14 93
针对消息丢失：同步模式下，确认机制设置为-1，即让消息写入Leader和Follower之后再确认消息发送成功；如果使用高级接口High-level API，可能存在一个问题就是当消息消费者从集群中把消息取出来、并提交了新的消息offset值后，还没来得及消费就挂掉了，那么下次再消费时之前没消费成功的消息就“诡异”的消失了；kafka每个partition中的消息在写入时都是有序的，消费时，每个partition只能被每一个group中的一个消费者消费，保证了消费时也是有序的。
2024年大数据最新大数据面试题 —— Kafka，2024年最新实战分析
2401_84591870的博客
05-05 788
（2）对于 Kafka 集群的好处是可以实现。
最新大数据面试题 —— Kafka(1)，借花献佛
2401_84181986的博客
05-12 577
Kafka消费者消费数据流程。
大数据技术高频面试题——kafka
zlmldylinke的博客
02-23 306
1.5Kafka 1.5.1 Kafka架构 生产者、Broker、消费者、ZK； 注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。 1.5.2 Kafka的机器数量 Kafka机器数量=2*（峰值生产速度*副本数/100）+1 1.5.3 副本数设定 一般我们设置成2个或3个，很多企业设置为2个。 副本的优势：提高可靠性；副本劣势：增加了网络IO传输 1.5.4 Kafka压测 Kafka官方自带压力测试脚本...
大数据最全大数据面试题 —— Kafka，腾讯T3亲自教你
最新发布
2401_84159839的博客
05-15 285
为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向producer发送ack，如果producer收到ack，就会进行下一轮的发送，否则重新发送数据。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。
2024年最新大数据面试题 —— Kafka，2024年最新只有搞大数据开发开发的才知道
2401_84186026的博客
05-10 842
（2）Consumer：消息消费者，从负责Broker读取并消费消息（3）Consumer Group（CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。（4）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
大数据面试题 —— Kafka，大数据开发开发教程入门
2401_84181368的博客
04-15 1011
这种方式被称为分区分配。为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向producer发送ack，如果producer收到ack，就会进行下一轮的发送，否则重新发送数据。删除的话，那么这些没消费的消息不就丢了。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。
大数据面试题——Kafka面试题总结（二）
qq_41544550的博客
10-21 1052
1、Kafka都有哪些特点？ 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） 高并发：支持数千个客户端同时读写 2、请简述下...
2021Java大厂面试题——大厂真题之唯品会-Java大数据开发工程师.pdf
01-29
### Java大数据开发工程师面试知识点详解 #### 一、Kafka Message结构详解 Kafka消息（Message）是Kafka中非常核心的概念之一，它承载着所有传递的信息内容。一个Kafka消息由固定长度的Header和变长的消息体Body两...
17道消息队列Kafka面试题！.zip
09-26
【标题】：“17道消息队列Kafka面试题！” 在面试中，掌握消息队列Kafka的相关知识是至关重要的，特别是在Java开发领域。Kafka是一个分布式流处理平台，常用于实时数据处理和大数据传输。以下是根据标题和描述可能...
【大数据开发】HDFS小文件合并四种方式
白色风车
11-05 2357
直接写数据到HDFS时，我们不可避免的要处理小文件问题，一般有 1.落地之前增大batch(即增大了延迟) 2.coalesce(分区合并) 3.外部程序Merge 4.Append（如果文件没有达到指定大小，下一个批次写数据的时候不创建新文件，而是和已存在的小文件合并） 四种方式，各有其使用场景，如论哪种方式，无疑会增加我们的工作量。但是如果通过hudi写入数据，小文件的问题hudi自身会帮你解决，hudi自身解决的方案是`方法 ...
【大数据开发】面试——Hive优化之大表join大表
白色风车
12-21 2073
hive-大表Join的数据偏斜 hive—大表Join的数据偏斜 大表Join的数据偏斜 MapReduce编程模型下开发代码需要考虑数据偏斜的问题，Hive代码也是一样。数据偏斜的原因包括以下两点： Map输出key数量极少，导致reduce端退化为单机作业。 Map输出key分布不均，少量key对应大量value，导致reduce端单机瓶颈。 Hive中我们使用MapJoin解决数据偏斜的问题，即将其中的某个表（全量）分发到所有Map端进行Join，从而避免了reduce。这要求分发的表可以被全量载
Flink两阶段提交
白色风车
05-24 233
Flink两阶段提交
Flink之Operator Chain
白色风车
05-24 154
Flink原理（三）——Task（任务）、Operator Chain（算子链）和Slot（资源）
面试题：kafka零拷贝
09-28
Kafka的零拷贝原理是指在数据传输过程中，避免了不必要的数据拷贝。具体来说，当生产者向Kafka发送消息时，消息首先会被写入操作系统的页缓存中，然后Kafka通过零拷贝技术将消息从页缓存复制到网络套接字缓冲区，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值