![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
qq_35686293
酷毙的工程师
展开
-
Kafka服务器能接收到的最大信息是多少?
1000000字节。原创 2021-07-18 21:14:00 · 930 阅读 · 1 评论 -
3、请你说明kafka相对传统的消息传递方法有什么优势?
高性能:单一的kafka可以处理成千上万的客户端。可扩展:Kafka集群可以透明的扩展,增加新的服务器进集群容错性:kafka每个分区的数据会复制道几台服务器,当某个broker失效时,zookeper会通知其他消费者和生产者消费其他broker....原创 2021-07-18 21:11:55 · 146 阅读 · 0 评论 -
2请说明说明是传统的消息传递方法?
1)队列:每调消息只发送给一人2)发布-订阅:消息被广播给每个用户原创 2021-07-18 21:05:01 · 102 阅读 · 0 评论 -
1请你说明什么是Apache Kafka?
Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的,分区的,重复的日志服务。原创 2021-07-18 21:02:06 · 82 阅读 · 0 评论 -
38、Kafka分区数可以增加或减少吗?
我们可以使用bin/kafka-topics.sh命令对kafka增加分区数据,但是kafka不支持减少分区数kafka不支持减少分区数是有很多原因的?1)删除的话,没消费的消息就丢了原创 2021-07-18 20:57:55 · 885 阅读 · 0 评论 -
kafka缺点?
1)由于批量发送,数据并非真的实时2)对mqtt协议不支持3)不支持物联网传感数据直接接入4)仅支持统一分区内消息有序5)监控不完善,需要安装插件6)依赖zookeeper进行元数据处理原创 2021-07-18 20:43:38 · 761 阅读 · 0 评论 -
Kafka如何实现高吞吐量?
kafka是分布式消息系统,需要处理海量的消息,kafka的设计是把他写入速度慢容量大的硬盘,kafka主要使用了以下的形式提高吞吐率。1)顺序读写2)0拷贝3)文件分段4)批量发送5)数据压缩...原创 2021-07-18 20:38:52 · 403 阅读 · 0 评论 -
35kafak分区分配策略
1 什么时候会再分区1)同一个消费者组新增消费者2)消费者脱离消费者组,包括shuts down 或crashes3)订阅的主题新增分区2 kafka分区的分配策略RoundRobin 和Range默认为rangeRoundRobin分区它针对的是消费者组,对于同一个主题中的分区, 采取轮询的方式分给不同的消费者,对于不同的主题,将所有的主题视为一个整体,对所有主题中的分区进行排序,采取轮询的方式分给不同的消费者。优点:消费者组消费的分区数最多差1。缺定:对于多主题,如果原创 2021-07-18 20:31:35 · 57 阅读 · 0 评论 -
34、谈一谈再均衡
当有新的消费者加入或者消费的主题发生变化,就会触发再均衡。1)所有的消费者向coordinator发送请求,请求入组,coordinator就会从发送请求的消费者选一个lender.2)选出的lender应该告知那一个消费者应该消费那一个主题的分区,然后把该策略发给coordinator,coordinator再把这个分配策略发给各个fllower....原创 2021-07-17 22:24:49 · 58 阅读 · 0 评论 -
kafka创建Topic时如何将分区放置到不同的Broker中
1)副本因子不能大于broker的个数2)第一个分区的第一个副本放置的位置是随机从brokerList选择的3)其他分区放置的位置相对于第一个分区往后面移4)剩余副本相对于第一个副本放置的位置其实是由nenxtReplicashift决定的,而这个数也是随机产生的。...原创 2021-07-17 21:51:20 · 298 阅读 · 0 评论 -
kafka高效文件存储的特点?
1)kafka通过分区将一个大文件分成许多小文件,对小文件很容易清除和删除2)通过索引可快速定位message和respond的大小3)通过index元数据全部映射到memory,避免segment file的IO操作4)通过索引文件稀疏存储,可大幅度降低index数据文件存储空间...原创 2021-07-17 21:34:25 · 131 阅读 · 0 评论 -
30 Kafka消息是采用pull模式,还是push模式
1到底是考虑使用pull模式,还是push模式,kafka遵循了pull模式也就是靠靠消费者主动拉取(produce将消息推送到broke,消费者主动拉取)push:像Scripe和apache flume是使用push 模式。优点:broker能以最大速率发送消息。缺点:当broker推送的消息远大于消费者的速率时,消费者就会崩溃,当broker想避免消费者崩溃,采取远小于消费者速率推送消息,导致一次推送较小的消息造成浪费。pull:消费者主动向broker拉取消息,适合不同消费速率的消费者。原创 2021-07-17 21:09:44 · 3526 阅读 · 0 评论