![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 82
我先森
资深大数据开发工程师,在游戏领域,工业领域,以及数字化领域负责过分布式计算大型框架底层研发,对分布式计算有一定见解。
展开
-
【shell-10】shell实现的各种kafka脚本
因为经常要用kafka环境参与测试,所以写了不少脚本。在很多时候可以大大提高测试的效率。topic数据传输【file数据录入到topic,topic数据下载到本地文件】此文件是个额外的日志文件主要用于打印日志,该文件会被下面的shell文件引用。topic信息查看【topic列表,topic groupid 消费情况】脚本中做了各种检查,日志的输出做了颜色区分,用起来没啥问题。topic的管理【创建,删除】原创 2024-01-26 12:07:21 · 2076 阅读 · 0 评论 -
kafka 轮询消费的时候容易出错的地方
一:kafka轮询1:正常情况下来说,kafka轮询消费的意思就是客户端从kafka中获取数据是通过分批获取的方式,每隔一段时间获取一批数据。2:但是能否正常在间隔时间内去拉取数据,要看你的业务处理逻辑是否在这个间隔时间内完成,如果在间隔时间内,处理逻辑还没有结束的话,kafka poll就不会去获取数据,这样的话kafka集群就会认为你这个消费者已经死亡了,就会触发reblance...原创 2019-03-15 11:41:48 · 2062 阅读 · 0 评论 -
kafka活跃副本
实际上当生产者将数据存入kafka的时候并非可以及时就被读取的,kafka的副本要从分区首领同步消息同步完成的副本被称为活跃副本,在某些时候可能并非所有的副本都可以在一定的时间内完成数据的复制,这个时候这样的副本被称为非活跃状态。在消息没有被写入所有的 同步副本之前是不可以被读取的。此时尝试获取消息会返回null. 看下面这些话。 replica.lag.time.ms默认是10秒,...原创 2019-03-15 14:47:00 · 124 阅读 · 0 评论 -
kafka分区数量的判定
ps:越努力越幸运。你要思考一些一些问题,决定吞吐量的因素有哪些?第一点: 数据传输的效率肯定是离不开网络的。第二点: 就越是你数据的产生的速度,如果网络足够了,但是数据产生的速度不够也依旧达不到瓶颈。第三点: 就是你需要达到什么样的效率,这个时候就要将网络性能是否满足你的需求做一个详细的评估了。这就叫做量力而行嘛, 你网络不够还非要要求那么高那就尴尬了。想让马儿跑,不给马儿吃...原创 2019-03-11 17:32:16 · 3763 阅读 · 0 评论