![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
景丰
这个作者很懒,什么都没留下…
展开
-
Kafka的组成
一、服务器硬件依赖部分1.kafka为分布式,需依赖多台服务器2.每台机器为一台broker3.一台broker对应多topic队列4.一topic队列可切成多partition队列5.partition包含leader和follower二、逻辑部分1.生产者:source,拉数据2.消费者:sink,消费数据3.消费者组: 多消费者组成,组内每个消费者消费不同partition分区。不同组的消费者可以消费同一个partition三、完整性部分1.容灾:以partition为单位保存副原创 2021-11-01 22:38:43 · 1940 阅读 · 0 评论 -
Kafka面试
1、基本信息 1)组成 生产者 broker 消费者 zk 2)kafka安装多少台= 2 * (生产者峰值生产速率 * 副本 / 100) + 1 = 3台 3)压测:生产者峰值生产速率 消费者峰值消费速率 4)副本:默认1个副本 =》 生产环境2-3 个 2个居多 副本多的好处,可靠性高; 坏处,效率低 5)kafka速率 100万日活 没人每天100条日志 每天多少条日志=100万 * 100条 = 1亿条 1亿条 / (3600 * 24)=原创 2021-08-05 10:42:18 · 130 阅读 · 0 评论 -
Flink项目中的重难点(一)
动态分流问题需求:在数据接收层,我们是使用maxwell把通过binlog变动的数据全部写入一个kafka的topic中。而这其中存在维度表和事实表,还有同时又是维度又是事实的表。在实时计算中,我们一般把维度表写入通过主键查询的数据库中,例如mysql,redis,hbase等。一般将事实表写入流中,再经过进一步处理使其变成宽表。而又maxwell存入的全部数据,我们该如何判断全部的数据的流向呢。我们可以将数据的内容全部在一个地方集中配置,形成一种动态的配置方案。我们选择使用mysql存放这种配置表原创 2021-08-01 21:58:59 · 498 阅读 · 0 评论